webdevqa.jp.net

wgetがURLのクエリ文字列を無視するのはなぜですか?

Wgetを使用して、次の18個のhtmlファイルをダウンロードしたいと思います。

http://www.ted.com/talks/quick-list?sort=date&order=desc&page=18  
http://www.ted.com/talks/quick-list?sort=date&order=desc&page=17  
...  
http://www.ted.com/talks/quick-list?sort=date&order=desc&page=1

後に何があってもpage=、それは常にリストの最初のページをダウンロードします。 URLの一部の文字をエスケープする必要がありますか?どうやって?

27

&はほとんどのシェル環境での特殊文字です。二重引用符を使用してURLを引用し、すべてをwgetへのパラメーターとして渡すことができます。

wget "http://www.ted.com/talks/quick-list?sort=date&order=desc&page=18"
46
hrbrmstr
  1. URLのリストをファイルに保存します(各URLを別の行に!!):

    echo "http://www.ted.com/talks/quick-list?sort=date&order=desc&page=18 http://www.ted.com/talks/quick-list?sort=date&order=desc&page=17 ... " > wget_filelist.txt

  2. Wgetを呼び出して、次のものを取得します。

    wget -i wget_filelist.txt

3
Stefan Woehrer