Apache Nutchはrabbitmqにクロールされたドキュメントを書いています

Question

現在、私は弾力性のあるバッチでドキュメントを書く弾性インデクサープラグインを持っています。私は今、これらをrabbitmq交換に書きたいと思っています。

エラスティックプラグインの書き込みメソッドの内部で交換を試みましたが、これはローカルから手動で実行したときに動作していましたが、hadoopクラスタで実行したときには機能しませんでした。

私はまた、publish-rabbitmqプラグインを見てきましたが、これはドキュメントではなくイベントに焦点を当てています。

私は自分の好きなことをするためのプラグインがありますか、自分で作成する必要はありますか？

Answer 1

https://github.com/apache/nutch/tree/master/src/plugin/indexer-solrと似ていますが、RabbitMQではこれが存在しません。私はずっと前からクライアントに似たようなことをしてきましたが、悲しいことにオープンソースではありません。

基本的には、IndexWriterから拡張されたクラスに独自の実装を作成し、各メソッドの実装を記入するだけです。

最も簡単で学習/テストツールとして提供されているindexer-solr,indexer-elasticおよびhttps://github.com/apache/nutch/blob/master/src/plugin/indexer-dummy/をご覧ください。