elasticsearchで低速インデックスの理由を調べる

Question

elasticsearchでデータセットを一括インデックスするスクリプトを作成しました。ただし、異なるサーバー上の同じデータセットで同じスクリプトを実行すると、実行時間が異なることが意図されています。 SSDを搭載したサーバーでは、200万の文書は10分以内に索引付けされますが、通常のハードディスクの場合は完了までに最大1時間かかります。減速の原因を突き止めるために使用できる診断ツールはありますか？

いくつかの追加情報：

• スクリプトのpython3のために書かれ、バルクインデキシング
• ためelasticsearch-PYモジュールを使用している両方のサーバが同じオペレーティングシステム（Ubuntuの14.04 LTS）とのいずれかを実行し低速のハードディスクには64GBのRAMが搭載されていますが、SSD搭載のRAMにはRAMの半分があります。

Answer 1

大量のレコードが取り込まれると、インデックスマージが実行されます。これは、基礎となるストレージの速度に大きく依存するプロセスです。 RAMはここではそれほど重要ではありません。パフォーマンスを照会したり、そこで行うことが重要な場合があります。ディスクの待ち時間が増え、SSDプラットフォームに比べて速度が遅くなります。

したがって、私はSSDの高速化について驚くことはありません。 SSDストレージはHDDに比べて3〜8倍高速です。 HDDがストレージのさまざまな部分へのアクセスのために位置決め操作を実行する必要があることを考慮すると、HDDの代わりにSDDを使用するだけで、ディスクバインドされたアプリケーションを10倍以上に高速化できます。