大量のJSON形式の大容量ファイルの処理と照会

Question

大量の大量のJSON Line形式ファイル（ファイルあたり約2GB）をインポートするには、どの技術が最適でしょうか。

私はSolrについて考えています。

データをインポートしたら、クエリ可能でなければなりません。

JSONライン形式のデータをインポートして適時にクエリするには、どのような技術をお勧めしますか？

Answer 1

プロトタイピングは、好きなスクリプト言語を使って始めることができます。行を読み、有効なSolr jsonを取得し、HTTP経由でSolrに送信するために必要なフォーマットをマッサージします。立ち入る方が早いでしょうか。

長期的、SolrJをすることができますようにあなたは、（必要であれば）最大PERFを取得できるようになります：

2. 直接Solrcloud環境でのリーダーのレプリカを打つ摂取する複数のスレッドを使用し、 docsを送信します（複数のプロセスを使用することもできます）。これは他のすべてのテクノロジーでは難しくない/不可能ではありませんが、一部ではそうです。
3. すべてのSolrJ APIを使用することができます。