htmlunitを使用して動的Webページをクロールする

Question

ダイナミックWebページからHtmlUnitを使用してデータをクロールしています。これは無限のスクロールを使用して動的にデータをフェッチします。私はスクロールダウンイベントをシミュレートするために、次の文を使用：

webclient.setJavaScriptEnabled(true); 
webclient.setAjaxController(new NicelyResynchronizingAjaxController()); 
ScriptResult sr=myHtmlPage.executeJavaScript("window.scrollBy(0,600)"); 
webclient.waitForBackgroundJavaScript(10000); 
myHtmlPage=(HtmlPage)sr.getNewPage(); 

をしかし、myHtmlPageが、結果として、私は唯一の最初のクロールすることができ、すなわち、新しいデータがmyHtmlPageに追加されていない以前のものと同じままらしいですウェブページ上のデータはほとんどありません。ご協力いただきありがとうございます！

Answer 1

私は同じことを探していました。私はそれがスクロールイベント（90％確かではない）ではないことが分かりました。 JSにはlinkがあり、ページを読み込むためのresponsilbeであり、多分あなたを助けるかもしれません。

Answer 2

ページのスクロール中にコンテンツがポストロードされていたのと同様の問題がありました。

webClient.getCurrentWindow().setInnerHeight(Integer.MAX_VALUE);