ElasticSearchで1M docs/secのインデックスを作成できますか？

Question

私はElasticSearchでインデックスの速度を最適化しようとしています。毎時インデックスを常に再インデックス化しているため、データのインデックスを再作成する速度が速ければ遅いほど、達成できる遅延は少なくなります。

この記事では、再インデックス処理のスループットが100K：https://thoughts.t37.net/how-we-reindexed-36-billions-documents-in-5-days-within-the-same-elasticsearch-cluster-cd9c054d1db8#.4w3kl9ebfに達したことと、このStackOverflowの質問が高いと達成されたことを話しました：ElasticSearch - high indexing throughput

私の質問は、毎秒100万のドキュメントの持続的なインデックス処理を達成することが可能かどうかです。

Answer 1

それはいくつかの要素によって異なりますが、なぜそれは不可能なのでしょうか？文書の

• サイズ（小さい方が高速です）のコアとメモリのサイズの
• 数（より多くの方が高速です）
• 数：ここでインデックス作成プロセスをスピードアップしますいくつかの重要な要因であり、レプリカの機械（より高速である）
• 数（小さいが高速である）例として

は、小さなドキュメントおよび単一8つのコア機で、Iはindex at about 70k-120k docs/sすることができました。いくつかのコアやマシンを投げて、1M docs/sに近づけることができます。

---

更新：64G JVMヒープを有する単一の32コアE5でElasticsearch 6.1.0で実行別の試験、、。ここで、esbulkは、サイズが20〜40バイトの10Mの小さな文書を使用して、約330000文書/秒を索引付けすることができます。

---

免責事項：esbulkを書きました。