0

私は約何千もの写真をウェブサイトからダウンロードしようとしていましたが、スクリプトの知識はまだありません。これは非常に痛いので、助けが必要です。私がコンテンツをダウンロードしようとしているウェブサイトはフラッシュベースのウェブサイトなので、通常のHTMLのようなものは取りつかれません。フラッシュベースのウェブサイトをスクラップする方法は?

「Web Scraper」というChromeウェブエクステンションを使用しようとしましたが、ウェブページ上で何も選択できなかったので、「バイナリフォーマット」と呼ばれるフラッシュが使用されていると想定しています。

私は別のタブに「ヘッダ」のリクエストURLにアクセスすると、私は次のことができます。だから私は良いo'l開発ツールをバストすることを決定し、これは私が見つけたものである

イメージを参照してダウンロードしてください。私はそれを1500回行うつもりはありません...

擦り傷に関する研究の少し後、私はこのような状況に役立つようなwgetというプログラムを見つけました。私はそれをダウンロードし、リクエストURLの1つで試しました。それは完璧に働き、イメージをダウンロードしました。それを使って遊んだ後に、wgetのURLのリストを連鎖させて一度に複数のページをダウンロードできることがわかったので、ChromeのヘッダータブからすべてのリクエストURLをコピーしてwget、私は良いだろう。ただし、URLをコピーするには、各画像を個別にクリックする必要があります。これは永遠にかかります。

「名前」ウィンドウでファイルを選択することもできず、別のファイルをShiftキーを押しながらクリックして強調表示されたマテリアルのリストをコピーすることもできます。それらを短縮するために各ファイルの名前(そして私は全体の名前を表示することを期待して "名前"ウィンドウを拡張しようとしましたが、それはしませんでした)。

ある種のスクリプトを使用して、これらのファイルのいくつかを同時にダウンロードする方法はありますか?私が役立つスクリプトを学ぶのに使うことができるリソースはどれですか?

他にも参考になるアプローチがありますか?ここで私の時間を減らすことができるものは本当に感謝します。ありがとう:)

答えて

1

あなたはそのdev-toolネットワークリストを右クリックして「コンテンツ付きHARとして保存」を選択し、そのファイルからデータを検索することができます。

はまた、「コピー」の項で見てください>

Save as HAR with content

+0

「すべてHARとしてコピー」が、私はこれを行うことができます実現が、私はそれを開くことができませんでした。どのようなプログラムが必要ですか? –

+0

任意の種類のテキストエディタで、必要なURLのファイルを解析し、任意の種類のスクリプトを使用してURLリストをダウンロードします – joopmicroop

+0

harファイルはjsonデータです。 – joopmicroop

関連する問題