Nutch 1.X REST APi

Question

シードURLに沿ってメタデータを渡す現在、検索バックエンド（現在はElasticSearch）の各URLのインデックスデータにシードURLを含めるようにしています。

私はthis previous questionで、各シードでメタデータを渡すことができ、私の必要性に合っていることがわかりました。しかし、私はcreate my seed listにREST APIを使用しており、seedUrlsパラメータでメタデータが許可されていないようです。

誰でもREST APIでこれを実行しようとしましたか？

これを達成する別の方法はありますか？ NutchDocumentのシードURLをインデックスに追加するカスタムIndexingFilterを書くことができましたが、この時点でシードURLは私が見たものから利用できません。

ありがとうございます！

Answer 1

現時点では、REST APIは関連するメタデータの処理をサポートしていないようです。私たちはこれを達成するために大きな努力を払う必要はないと考えています。基本的にJSONペイロードを処理し、対応するエンティティSeedUrlをカスタマイズしてメタデータを保持し、もちろんwriteToSeedFileメソッドをカスタマイズする必要があります。

IndexingFilterを書くあなたのアプローチはうまくいかないかもしれませんが。シードURLは、クロールのライフサイクルの初めに投入され、IndexingFilterは、あなたのストレージにインデックスを作成するものを選択することによってのみ責任を負います。