Elasticsearch一括インデックスAPIが長時間ドキュメントを作成するのはなぜですか？

Question

私は2つのノードを持つElasticsearchクラスタを持っています。ノードJS一括挿入APIを使用して、私は、コードの下に使用して、インサート1000個のドキュメントのバッチとしてサーバーにポスト

esclient1.bulk({ 
    body: messages 
}, function (err, resp) { 
    //handle resp 
}); 

メッセージを取得したストリーミングデータを挿入しますが、文書は唯一の1,2時間後に作成されます。なぜそのような遅延がわからない。

バルクインサートごとに合計2Mのレコードが1Kに分割されました。 24時間経過しても、文書はまだ索引付けされています。問題がどこにあるのか教えてください。 （MB）中古652.92 &ヒープ - - 631.56

我々はKibanaステータスがヒープ合計（MB）を示す2

xはAWS EC2のm3.large（7.5 GBのRAM、32ギガバイトSSDストレージ）を使用します。これがインデックス作成の遅れの原因ですか？

Answer 1

bulkスレッドプールを確認し、ノードの統計の下

http://your_server_id:9200/_nodes/stats/thread_pool

がqueueサイズを確認してください。キューに要求が多すぎる場合は、すべての一括インデックス作成要求を処理するのに十分なスレッドがありません。

スレッド数は、使用可能なCPUコアの数に基づいて割り当てられます。

インデックス/削除操作の場合。スレッドプールタイプが利用可能なプロセッサの＃の サイズ、200

ののqueue_sizeで固定されている私はまた、インデックスをチェックする、具体的に索引付けの下の数字をチェック

http://your_server_ip:9200/_nodes/stats/indices

統計マージセグメント何か目立つものがあるかどうかを確認してください。