さまざまなドキュメント（pdf、ppt、MSワード、プレーンテキストなど）を使用した検索可能なアーカイブのベストプラクティス

Question

PDF、MS Word、PPTなどのさまざまな形式のさまざまなドキュメントがありますが、プレーンテキスト等であり、これらは、HDFSに格納されている。私はelasticsearchインデックスにコンテンツを抽出し、同じもののフルテキスト検索システムを構築する必要があります。私はES-Hadoopについて読んでいます。しかし、私はこのケースではとES-のHadoopがリアルタイムかない（場合には、私はそれを使用する）であるかどうか ESのまたはアパッチティカプラグインマッパー-添付ファイルを使用できるかどうか少し混乱しています。

私は、ドキュメントからESインデックスにコンテンツを抽出し、それを検索する正しい方法が何であるか不思議です。

ご協力いただければ幸いです。

ESマッパーアタッチメントプラグインまたはApacheティカを使用しているかどうかについての質問についてサチン

Answer 1

。マッパープラグインを使用することをお勧めします。これはElasticsearchと統合されており、オーバーヘッドのインデックス作成やインデックス作成中のドキュメントにメタ情報を追加する手間が省けます。

私が知る限り、ES-Hadoopはストリーミング（リアルタイム）APIを公開しません。私はES-HadoopとApache Sparkで作業しており、Apache Kafkaを使用して自分自身でElasticsearchにストリーミングデータの種類を実装しなければなりませんでした。

希望に役立ちます。