JavaでAjaxサイトをスクレイプする方法は？

Question

いくつかのAjaxベースのウェブサイトをスクレープし、ウェブページの一部をリフレッシュするクリックをシミュレートして、更新されたHTMLを読みたいと思っています。これを行うことができるJavaライブラリがありますか？

Answer 1

HtmlUnitこれは素晴らしいです！それはヘッドレスブラウザであり、クリック、マウスの位置、そしてあなたが望むすべてのもので遊ぶ能力を持っています。

Answer 2

これを行う唯一の方法は、JavaScriptが実行され、DOMが更新されたときにデータを取得するようにブラウザを埋め込むことだと思います。 This related stack overflow question may help。

Answer 3

（初回のみ1がJava開発者に意図されたが）これらの本はあなたを助ける必要があります。

• Programming Spiders, Bots, and Aggregators in Java。
• Webbots, Spiders, and Screen Scrapers;
• Spidering Hacks;