ねこそぎ取得スクリプト作成つーる
友人のためにRubyでツールを作りました。
ツールの概要は
指定したURLのページ内でリンクの張られたzipファイルを
根こそぎもってくる。
ダウンロードするとき認証があるんで、
厳しいかなぁと思ったけど
wgetのやつ、認証も対応してるのね。
下のように書くとOK。
wget –http-user=myuserid –http-passwd=mypassword http://www.example.co.jp/tmp/xxxxx.html
ツール処理
1.指定したページ内のリンクを全部取得(ダブったのは削除)
ライブラリはhpricot使用
2.リンクを含めてwget構文を作成しシェルスクリプトとして出力
3.シェルスクリプト実行(ここは手動)
w」w」w」で、ダウンロード開始!!
サーバーくん、ずんどこ落とします。。
な!!!6GBが数分!!
サーバーの速度に感激!w」w」w」秒速6MBって何よ
でも、サーバー(日本)⇒自宅(中国)がめちゃ遅ぇ。。
だめだ、こりゃ。
(友達の為だからいいのか?)
ちなみに、以上、ツール作成時間は調査、デバッグを含めて1時間
できれば、このぐらいのツールは10分で作りたいな
Rubyくんに慣れたら余裕でできそうだなぁ