ねこそぎ取得スクリプト作成つーる

友人のためにRubyでツールを作りました。



ツールの概要は

指定したURLのページ内でリンクの張られたzipファイルを

根こそぎもってくる。



ダウンロードするとき認証があるんで、

厳しいかなぁと思ったけど

wgetのやつ、認証も対応してるのね。

下のように書くとOK。



wget –http-user=myuserid –http-passwd=mypassword http://www.example.co.jp/tmp/xxxxx.html






ツール処理

1.指定したページ内のリンクを全部取得(ダブったのは削除)

  ライブラリはhpricot使用

2.リンクを含めてwget構文を作成しシェルスクリプトとして出力

3.シェルスクリプト実行(ここは手動)



w」w」w」で、ダウンロード開始!!

サーバーくん、ずんどこ落とします。。









な!!!6GBが数分!!

サーバーの速度に感激!w」w」w」秒速6MBって何よ



でも、サーバー(日本)⇒自宅(中国)がめちゃ遅ぇ。。

だめだ、こりゃ。

(友達の為だからいいのか?)





ちなみに、以上、ツール作成時間は調査、デバッグを含めて1時間

できれば、このぐらいのツールは10分で作りたいな

Rubyくんに慣れたら余裕でできそうだなぁ

コメントをどうぞ