Apache nutch：解析する前にDOMを操作する

Question

特定の要素をページ応答から削除してから、nutchに渡します。 は具体的には、私はすなわち

<div class="noindex">I shall not be indexed</div> 

と私のページの一部をマークしたい「私はインデックスを作成してはならない」ように、Nutchの解析の前にそれらを削除したいその後NutchDocumentには存在しません。私は、現在、インデックス内のすべてのドキュメントに存在するため、ナビゲーション、ヘッダー、フッターのコンテンツを囲むことを計画しています。

おかげで、 ポール

Answer 1

あなたはそれを行うためのいくつかのalternativerを持っている：

• あなたはそれを行うためNutchのためのプラグインを作成することができます。このブログには、nutchでプラグインを実行するという実例があります：http://sujitpal.blogspot.com/2009/07/nutch-custom-plugin-to-parse-and-add.html

• ここでは、http://tomazkovacic.com/blog/122/evaluating-text-extraction-algorithms/にはいくつかのアルゴリズムがあります。多分それをやっている最善の方法はnutchのプラグインでもあります。