Javaの動的Webページコンテンツを読む

Question

ウェブページの内容を読むのに助けが必要です。現在、私は内容を読むために次の方法を使用しています

BufferedReader in = new BufferedReader(new InputStreamReader(page.openStream())); 
String inputLine; 
while ((inputLine = in.readLine()) != null) 
{Content = Content + inputLine;} 

しかし、この方法では問題があります。 。述べたように、このページの読者が私のJavaのメソッドを介して読み込まれたときにその結果

if (request.readyState === 4 && request.status === 200) 
{ 
var type = request.getResponseHeader("Content-Type"); 
$('.update').empty(); 
$('.update').append(request.responseText); //update the css class 
} 

：いくつかのJSPページは、単にアイデアを与えるために、ランダムにそう JavascriptコードのようなWebページのCSSクラスを更新し、それらでAJAXを持っています私はちょうど得る

<div class="update"></div> 

このクラスは値を持っていますが。 しかし、最初にページを保存すると（Firefoxで保存をクリックすると）、jqueryでCSSクラスに追加された値も表示されます。 Firefoxのように値を読み込んでページを保存する方法や方法はありますか？文字列にあるAjax値を使ってWebページ全体の内容を読みたいと思います。

私はJAVAスクリプトがレンダリングされ、ブラウザによって実行されているので、これは難しいと読んでいます。だから、Firefoxは助けになるかもしれないapiを持っていますか？任意の提案をいただければ幸いです。

Answer 1

あなたは便利な次のプロジェクトを見つけることがあります。ここでは

• HTMLUnit
• Crowbar

もデータビッグバンからvery informative blog postです。

Answer 2

PhantomJSもチェックしてください。 CrowbarがMozillaのヘッドレスブラウザであるのと同じように、PhantomJSはヘッドなしのWebKitブラウザで、SafariとGoogle Chromeが使用するエンジンです。