ElasticSearch - 最大シャードサイズの決定

Question

うまくいけば、この質問は時代遅れではありませんが、私はどこでも明確な答えはまだ見つかりませんでした。昨年のESプレゼンテーションの1つ（http://www.elasticsearch.org/videos/big-data-search-and-analytics/）によれば、シャードの「最大」サイズがあります。私は私のアプリケーションのためにこれを判断しようとしていますが、私が知る限り、私はまだヒットしていません。最大値に達したシングルシャードインデックスの動作を誰かが知っていますか？挿入が失敗するか、インデックスが使用できなくなるだけですか？

Answer 1

これを自分でテストするために、私はWikipediaのすべての英語の記事（履歴情報なし）を1つのelasticsearchシャードで索引付けしました。 elasticsearchデータフォルダは、テストの最後に〜42GBに成長しました。教訓は次のとおりです。

• インデックスの速度はシャードのサイズには影響されません。一度に複数のスレッドでインデックスを作成しようとはしませんでしたが、テストの間、単一スレッドのインデックス速度はほぼ一定でした。
• クエリ速度は、シャードサイズの影響を大幅に受けました。特に、一度に複数のユーザーでクエリを実行しようとすると、特にそうです。正確な数値は、マシンのパワー、データ構造、およびクエリするスレッドの数に大きく依存します。私の開発マシンでelasticsearchを実行しているアイデアを得るために、ウィキペディアのシャードに25人の同時ユーザーを照会すると、平均応答時間は3.5秒になりました（半分になるピーク）。

私の結論は、大きすぎるシャードはインデックス作成だけでelasticsearchを失敗させないということです。大規模なシャードを照会することは、あなたのニーズには遅すぎるかもしれませんし、ある状況では、OutOfMemoryException（例えば大きなファセットクエリ）を使ってelasticsearchを破ることさえあります。

この回答は、私自身の調査に基づいています。完全な物語は私のブログで読むことができます。

http://blog.trifork.com/2013/09/26/maximum-shard-size-in-elasticsearch/
http://blog.trifork.com/2013/11/05/maximum-shard-size-in-elasticsearch-revisited/