Webページからテキストコンテンツを抽出する方法は？

Question

私は、さまざまなWebページからテキスト情報を取り込んで、1ページにまとめることができるjavaでアプリケーションを開発しています。たとえば、ヒンズー教、インドの時代、政治家などの異なるWebページにニュースがあるとします。今、私のアプリケーションは、これらのページのそれぞれから重要なポイントを抽出し、単一のニュースとしてまとめます。このアプリケーションは、Webコンテンツマイニングの概念に基づいています。このフィールドの初心者として、私はこのアプリケーションを構築する際の最初のステップとしてノイズ除去を説明する研究論文を読んだ。

ニュースのウェブページがある場合、最初のステップはハイパーリンク、広告、無駄な画像などを除いたページからメインニュースを抽出することです。私の質問は私がこれをどうやってすることができるかです。私には、Webコンテンツのマイニングを使用して、このような種類のアプリケーションの実装を説明する良いチュートリアルを教えてください。少なくとも、それを達成するためのヒントを教えてください。

Answer 1

このタスクでは、2つのオープンソースツールreadabilityまたはboilerpipeを使用できます。チュートリアルの場合は、これら2つのプロジェクトのコード&のマニュアルを読んでください。