JSサポートを使用したHtmlスクラップ

Question

自動化の目的で会社のWebページをスクラップしようとしていますが、ページ内に埋め込まれたスクリプトによって要求が完全に複製されません。最大の苦痛は、スクリプトで生成されたクッキーにあります。

私はWatinを使用してIEを自動化することを考えましたが、このソリューションはサービスアプリケーションでは快適ではありません。

あなたのアドバイスは何ですか？

ありがとうございます。

Answer 1

いくつかの選択肢があります。

あなたのスクリプトにクッキーを生成するのが最も簡単です。 JavaScriptコードを自分で読んで、それが何をやっているのか理解し、複製する必要があります。フィドラーはいつもあなたの友人です。

Htmlunitは、JavaScriptをサポートするJava Webブラウザライブラリです。それはGUIを持っておらず、Webアプリケーションをテストするために作られています。

Seleniumは、ワイアと同じようにブラウザをドライバーしますが、大部分の主要言語に対しては豊富なAPIサポートを備えています。

Answer 2

screen-scraperは使いやすいことを目指す別のツール（Javaベース）です。バイロンは、あなたがクッキーを（Fiddler、CharlesのようなWebプロキシツールを、またはFirebugなどのブラウザ拡張機能とChromeの開発ツールが便利になるだろう）を設定取得しているかを把握する必要がありますsaid-として

基本的な考え方です。

したがって、同じリクエストを模倣するために必ずしもページ上のJavaScriptを読む必要はありません。プロキシツールを使用して、ブラウザがサーバーに送信するクッキーを確認し、サイトが受け取るクッキーを知ったら、スクラップを行うために使用するスクリプトやツールで手動で設定してください。