Scalingを使用してAngularJSベースのウェブサイトをクロールする

Question

一部のページをクロールできますが、DOMが完全にレンダリングされずクロールできないため、読み込みに時間がかかることがあります。誰にでもこれに対する解決策がありますか？事前

Answer 1

で

ありがとうございますPhantomJSやFirefoxなどのヘッドレスブラウザでセレンなどのWebドライバを使用することができます。 PhantomJSを単独で使用するか、他の多くの選択肢を使用する：CasperJS、SlimerJSなど...

Answer 2

Firefox用のFirebugプラグインまたはChrome Developerツールを使用して、AngularJSアプリがバックグラウンドリクエストを見ることができますバックグラウンドで実行し、これらの要求を直接エミュレートします。

これにはもっと多くの作業が必要ですが、スクレイパーはページのレンダリングを待つ必要がないため、はるかに高速です。

Answer 3

I recommand scrapy splash。これは、治療のためのレンダリングサービスです。 （これは、スクレイピングハブによってサポートされています。