検索応答時間が2倍になりました。

Question

最近、私たちのシステムはCPU使用率が急上昇しました。その根本的な原因はまだ不明です。私たちは毎晩バルクインデックス作成の仕事をして、ほとんどすべてのドキュメントを更新しているので、過去にはメモリ使用量やディスクアラートが高くなっています。しかし、高いCPU使用率は問題ではありません。これまで収集

データ：（6つのデータノードのうち3マスター）

ノード03は、1秒の応答時間スパイクをもたらす、5分間、高いCPU使用率（> 95％）を患っ平均応答時間は40msです。 メトリックを見ると、特定の高CPUノードのインデックスカウントにわずかな差がありましたが、同時に若いGCには若干のバンプがありました（どちらの場合もスパイクのようなものはありません）。

私はカフカ消費者にデータの任意の時刻にバルクインデックスデータを受け付けるが、最大250dpi /秒の速度で制御されているので、バルクコール。

また、私はまだ解読できませんが、ホットスレッドのエンドポイントでデータがありました。

Hot threads

更新

以前の観察が間違っていたので、質問のタイトルを更新しました。主な懸案事項は、応答時間が2倍になり、しばらくして使用量が安定したため、高いCPU使用率ではありません。

いくつかの開発があります。スパイクの後、CPU使用率は徐々に低下し、正常です。 しかし、私たちの応答時間は一貫して100〜250ms（通常の平均値 - 35〜100ms）です。

現在、レスポンスには、歯面に近い（正確には均一な歯面）パターンがあります。

また、スパイクが発生した古いGC数の小さなバンプがありました。

ノードの統計情報に異常がありません。発見されると更新されます。まだ調査のために投稿しています。また、最近のホットなスレッド投稿

node stats

-

hot_thread_2

Answer 1

をノード03は間違いなく重いインデックス化を受けているようです。

   "bulk": { 
       "threads": 8, 
       "queue": 0, 
       "active": 0, 
       "rejected": 0, 
       "largest": 8, 
       "completed": 9528532 

は、私はいくつかのより多くの事は、私が03に気づいたノードノード03と04の統計を比較

• 4144165のドキュメントが、256087749（index_total）インデックス作成要求？
• ノード03には41個のopen_contextがあります。したがって、あなたはこの統計を取った時点で41の検索リクエストがあります。その他のノードはすべて0です。
• ノード03とノード01のマージ数は、他のノードに比べて非常に高いです。

特定のドキュメントを特定のノードに送信するルーティングロジックはありますか？あるいは、これらのノードには頻繁に更新されるインデックスが含まれているかもしれませんか？

また、スパイクを見たときに、ノード03のインデックスでuまたはアプリケーションが最適化を発行しましたか？ノードの統計情報を見ると、03は「完了」最適化を持つ唯一のノードです

"optimize": { 
       "threads": 1, 
       "queue": 0, 
       "active": 0, 
       "rejected": 0, 
       "largest": 1, 
       "completed": 1 
      }, 

また、あなたのrefresh_intervalは何ですか？ ESのデフォルトは1秒です。一括索引作成中に多くのマージが発生する可能性があります。