Apache SolrでTeraByteの大きなデータを処理できるか

Question

私は約1年のapache solrユーザーです。私は単純な検索ツールにsolrを使用しましたが、現在は5TBのデータでsolrを使用したいと考えています。私は、5TBのデータは、私が使用するフィルタに従ってsolrインデックスを作成すると、7TBになると仮定します。そして、同じインデックスに1時間あたり約50MBのデータを追加します。

1-5TBデータのシングルソルサーバーで問題がありますか。 （破片なし）

• A-は、サーバーをSOLRできます7TBインデックス上の50メガバイトのデータのコミットのための予想時間が何であるかB-

• 許容時間内にクエリに応答します。

• c-インデックスサイズの上限はありますか？

2 - あなたはどのように多くの破片私は

B-を使用する必要があり、私はSolrのコア

C-を使用すべきA-

• を提供する提案は何ですかあなたが提供したコミット頻度は何ですか？

3-大きなデータ

この種のいずれかのテスト結果は、使用可能な5TBデータはありませんがあります（1時間OKです）、私は結果がどうなるかを推定します。

注：ハードウェアリソースは問題ではないと考えることができます。

Answer 1

あなたのサイズがバイナリファイルではなくテキストの場合（テキストは通常​​はそれほど多くないでしょう）、これを単一のマシンで行うふりをすることはできません。

これは、Loglyとよく似ており、SolrCloudを使用してそのようなデータ量を処理します。

すべてがリッチ・ドキュメントの場合、索引付けするテキストの合計サイズは、はるかに小さくなります（自分の開始サイズの約7％）。とにかく、その量が減っても、私は思う単一のインスタンスのために、あなたはまだ多くのデータを持っています。