特定の部門のページスクラップ

Question

Javaを使用して特定のWebページのHTML出力を読み取る方法があるのでしょうか？

私は次のようにPHPで、あなたが何かを行うことができます知っている：私は、Javaと同等を探しています

$handle = @fopen("'http://www.google.com", "r"); 
$source_code = fread($handle,9000); 

。

また、レンダリングされたhtmlを取得したら、そのIDで1つのdivを取り除くことを許可するJavaユーティリティがありますか？

ありがとうございます。

Answer 1

jsoupを使用してください。

ツリーモデルと、CSSまたはjQueryセレクタに似た強力なクエリ構文と、Webページのソースを素早く取得するユーティリティメソッドの選択肢があります。

は、ウィキペディアのホームページを取得DOMにそれを解析し、要素のリストにニュースセクションでから 見出しを選択します：

Document doc = Jsoup.connect("http://en.wikipedia.org/").get(); 
Elements newsHeadlines = doc.select("#mp-itn b a"); 

彼らのウェブサイトから引用する

削除したいを表すが見つかったら、remove()を呼び出してください。