javascriptの画面遅延によるサイトの掻き取り

Question

分割された2番目のJavaScriptの遅延を持つサイトを掻き集めようとしています。

私は現在、スクレイピングにpythonを使用しています。私がページを取得するたびに、javascriptの遅延は完了せず、新しいDOMをまだ完全にロードしていません。

どうすればこのようなpgeを削ることができますか？

Answer 1

信頼できる方法は、ウェブブラウザまたはウェブブラウザコントロール、eを介してそれを擦ることです。 g。 i-Macrosの場合scraping commandsです。それはまたPython/Linuxを介して動作します。

また、自分では、Windows上のWebBrowserコントロールを経由して、これをコーディングすることができます：http://www.codeproject.com/KB/cs/webbrowser.aspx

Answer 2

あなたは、Webブラウザのフルパワーを活用できるウェブスクレイパーを構築するためにMozillaを拡張することができます。すべてのデータがロードされ、DOMが構築されたら、XSLTを使用してDOMから必要なデータを抽出できます。初期ロード後にDOMが動的に変更された場合は、変更を待ついくつかの方法があります。詳細についてはhttp://www.gooseeker.comをご覧ください。 GooSeekerは誰にとっても同じようなツールを無料で公開しています。ほとんどのコードはjavascriptとreadibleであり、そこからどのように実行されるのかが分かります。