ウェブページの内容を取得する（AJAX呼び出しでロード）

Question

私は初心者です。私はリンクから投稿とコメントを取得する必要があります。私はこのプロセスを自動化したい。私はこれにwebcrawlerとjsoupを使用することを検討しましたが、webcrawlerは主により深いWebサイトに使用されていると言われました。ページのため

サンプル：ジャイブコミュニティサイト

このページでは、私は、ページのソースを表示するとき、私は唯一のポストではなくコメントを見ることができます。コメントはサーバーへのAJAX呼び出しを介して取り出されるため、これが考えられます。

したがって、jsoupを使用すると、コメントをフェッチしません。

投稿やコメントを取得するプロセスを自動化するにはどうすればよいですか？

Answer 1

jsoupはhtmlパーサーのみです。残念ながら、jsoupはそれらを実行できないので、javascript/ajaxコンテンツを解析することはできません。

解決策：スクリプトを処理できるライブラリを使用する。ここで

は私が知っているいくつかの例です：

• HtmlUnit
• Java Script Engine
• Apache Commons BSF
• Rhino

ようなライブラリは、解析またはセレクタをサポートしていない場合は、することができます少なくともそれらを使ってスクリプトからHtmlを得る（w hsはjsoupで解析できます）。

Answer 2

JsoupはJavascriptとAjaxで処理しないので、HtmlunitまたはSeleniumを使用する必要があります。 Htmlunitを使ってページを読み込んだら、残ったタスクのためにjsoupを使うことができます。