Ajaxを使用するinifiniteスクロール・ページ用のDOM全体（またはそれ以上）をロードする方法は？

Question

あなたは、このようなページを見れば：http://www.fieg.nl/ias-demo#/

あなたはそれはあなたがどのようにGoogle画像検索の作品に似て下にスクロールしたときに動的にコンテンツを追加するためにアヤックスを使用していることがわかります。

私は解析のためにキャプチャしたかったのです。このようなページがあった場合、私のようなものだろう：

$page = file_get_contents("http://www.fieg.nl/ias-demo#/"); 

をしかし、これはすべてのAjaxが発生する前に最初にロードするすべてのものを取得します。 PHPやCURLなどのプログラムを使用してページ全体をキャプチャし、自動的にAjaxコンテンツを読み込んでキャプチャすることは可能ですか？

また、読み込み中に奇妙なページが発生し、文字通り永遠に続かない場合は、ツールでどのように処理する必要があるのか​​よくわかりません。このような状況では、ツールはDOMの終わりを決して見つけることができないからです。

Answer 1

これらのページは、ユーザーがページの下部にスクロールするときに、より多くのデータを取得するためのajaxリクエストを送信することによって機能します。 javascriptは、ページの下部にajaxリクエストのレスポンスを書き込みます。

firebugのようなツールを実行して、サーバーに行われたコンテンツの次のページを取得する要求を分析する必要があります（ネットパネルを使用）。リクエストURLを見つけたら、PHPスクリプトでこれらのリクエストをエミュレートする必要があります。

残念ながら、SOはスパイダーのウェブサイトにスクリプトを書き込む場所ではありませんが、とにかく理論があります。