は、私は、このページからすべてのデータセットをダウンロードしたい

Question

URLの持っていないファイル名が定義されたWebページからリストされたすべてのファイルをダウンロードする方法：私はここにwgetコマンドを試してみましたが、しているhttp://www.data.gov/catalog/geodata/category/0/agency/0/filter/sort/page/1/count/20

挑戦です：

URLにファイルをリンクするファイル名がなく、ファイルの種類が異なる可能性があります。ここで

は、ファイルへのURLの例です：http://www.data.gov/download/CECA1FB2-EA36-537B-8C68-298CCA449697/geodata

パターンは、HTTPとそのすべてのURLのスタートです：// www.data.gov/download/および/地理データ

何で終わりますこのウェブサイトを傷つける最善の方法ですか？ wget、cURL、PHPスクリプトなどを使うべきですか？

Answer 1

なぜこの場合wgetは動作しませんか？あなたの例のURLに基​​づいて、再帰的なwget取得は、ダウンロードされた各ファイルをそれ自身のディレクトリのファイル "geodata"に入れます。ローカルディスクに保存したら、ファイルの名前を変更したり、ファイルをより便利な形式に移動する（例：mmvやfind -execコマンドなど）など、データの使い方をすることができます。