0
wgetを使用してサイト "citypaper.com"全体をミラーリングしようとしています まず、index.htmlをダウンロードして停止します。 解決策を見つけました： wget -r -p -e robots = off http://www.citypaper.com これで、index.htmlにリンクされているページだけでなく、リンクされているページなどもダウンロードされます。 問題はこれらのページにはもはや実際には存在しない何千ものページがあります。 wgetがこれらのページをダウンロードする方法はありますか？リンクされていないサイトからページをダウンロードするにはどうすればよいですか？