Javaアプリケーションの貧弱な形のXHTMLページをスクラップする最良の方法は何ですか

Question

ウェブページ、特にタグとその中のコンテンツからコンテンツを取得したいと考えています。私はXQueryとXPathを試しましたが、不正な形式のXHTMLでは動作しないようで、REGEXは単なる苦痛です。

もっと良い解決策はありますか？理想的には、すべてのリンクを尋ねて、URLの配列を取得したり、リンクのテキストを尋ねたり、リンクのテキストで文字列の配列を取得したり、すべての太字

Answer 1

JTidyのようなものを使ってXHTMLを実行すると、有効なXMLが返されます。

Answer 2

Watijをご覧ください。私はRubyのいとこ、Watirしか使用していませんでしたが、Webページを読み込んで、ページのすべてのURLをあなたの記述どおりに要求することができました。

これは非常に簡単でした。それは文字通りウェブブラウザーを起動して、いい形で情報を返します。 IEのサポートは最高のようだが、少なくともWatir Firefoxでもサポートされていた。

Answer 3

私はその日のJTidyにいくつか問題がありました。私はそれがJTidyを失敗させた閉じられていないタグに関連していたと思います。私はそれが今修正されたかどうか分からない。正確なプロジェクトの名前は覚えていませんが、TagSoupのラッパーだったものを使ってしまいました。 TheresもHTMLCleanerです。

Answer 4

私はhttp://htmlparser.sourceforge.net/を使用しました。これは、不完全に形成されたHTMLを解析することができ、データ抽出を非常に容易にする。