- PR -

wgetで一括ダウンロードのオプション

1
投稿者投稿内容
fight
ベテラン
会議室デビュー日: 2005/09/25
投稿数: 74
投稿日時: 2006-11-02 21:56
http://www.itmedia.co.jp/enterprise/podcast/altblog.html
こちらのサイトにあるpodcastのmp3ファイルをwgetを使って一括でダウンロードしたいのですがどのようなオプションをつければ可能でしょうか?
ご存知の方がいらっしゃいましたら教えていただけるとありがたいです。
よろしくお願いします。
mukoubuti
Console
ベテラン
会議室デビュー日: 2005/09/10
投稿数: 65
お住まい・勤務地: 石川県金沢市
投稿日時: 2006-11-03 15:52
wgetのオプションだけで可能なのですか?
htmlをダウンロードしてリストを作成すればなんとかなるとは思いますが。
SHR
ベテラン
会議室デビュー日: 2006/06/15
投稿数: 99
投稿日時: 2006-11-06 12:15
こんな感じでしょうか?

wget -r -l 1 -A mp3 -nd http://www.itmedia.co.jp/enterprise/podcast/altblog.html

個々のオプションについてはご確認下さい。

fight
ベテラン
会議室デビュー日: 2005/09/25
投稿数: 74
投稿日時: 2006-11-23 13:05
ダメなようです。

引用:

SHRさんの書き込み (2006-11-06 12:15) より:
こんな感じでしょうか?

wget -r -l 1 -A mp3 -nd http://www.itmedia.co.jp/enterprise/podcast/altblog.html

個々のオプションについてはご確認下さい。



SHR
ベテラン
会議室デビュー日: 2006/06/15
投稿数: 99
投稿日時: 2006-11-24 14:09
引用:

mukoubutiさんの書き込み (2006-11-23 13:05) より:
ダメなようです。



えーっと、ご自分でいろいろ試されるつもりが無いように見えるのは気のせいでしょうか(^^;

-d付けてdebugで見ればわかるのですが、対象のファイルが違うホスト上にある為に対象外としているのが原因です。
従いまして-Hを付ければ、その事象は回避されます。
※-H
但し、そのままでは他のホストも探してしまう為、時間がかかってしまいますので、
.mp3のファイルがあるstream.itmedia.co.jpを対象とした方が良いかと思われます。
※-D stream.itmedia.co.jp

wget -r -H -l 1 -D stream.itmedia.co.jp -A .mp3 -nd http://www.itmedia.co.jp/enterprise/podcast/altblog.html

もし、これで駄目であれば-dでデバッグログを見て下さい。
可能性としてrobots.txtが原因の可能性がありますので、
その場合は-e robots=offを付けてください。
fight
ベテラン
会議室デビュー日: 2005/09/25
投稿数: 74
投稿日時: 2006-11-24 17:29
wget -r -d -H -l 1 -D stream.itmedia.co.jp -A .mp3 -nd http://www.itmedia.co.jp/enterprise/podcast/altblog.html
で試したところmp3ファイルのダウンロードに関してbecause robots.txt forbids itと出たのでrobots.txtが原因でした。
-dオプションでログの解析という方法を怠っていました。以後はこれを見てまずは自分で一次解析をするようにします。
最終的には下記のコマンドで所望の動作を満たせました。ありがとうございました。
wget -r -e robots=off -H -l 1 -D stream.itmedia.co.jp -A .mp3 -nd http://www.itmedia.co.jp/enterprise/podcast/altblog.html
Console
ベテラン
会議室デビュー日: 2005/09/10
投稿数: 65
お住まい・勤務地: 石川県金沢市
投稿日時: 2006-11-24 22:52
こんばんわ.

引用:

可能性としてrobots.txtが原因の可能性がありますので、
その場合は-e robots=offを付けてください。



こんな設定が可能だったとは知りませんでした。
大変、参考になりました。
1

スキルアップ/キャリアアップ(JOB@IT)