毎秒240,000レコードを生成し、csvファイルに保存します。今はカサンドラにそれらをロードしたいと思っています。性能を向上させるcassandraの一括読み込み
sstableloader:
私は3つの方法を使用し、我々はsstable生成し、それらをロードするsstableloaderコマンドを使用しますが、この方法が完了するまでに長い時間がかかり、秒ごとの行数がある:15,000JmxBulkLoader:このメソッドはsstableloaderより優れています。
CPU:インテル(R)Xeon(R)CPUのE5
システム構成を使用する場合バルクとクラッシュのために適切ではない:行/秒の数は17000
コピーです-2697 v3 @ 2.60GHz。 56個のコアは
RAM:64 G
ハードディスク:
1TB local for cassandra nodes and
10TB in a network drive (data files stored in this hard)
私たちは、このマシンに2つのノードを持っています。
ありがとうございました。
- :
は、ブログを見ていますか?あなたはかなり話題になっているようです.JMX以外のものは分かりませんが、あなた自身のインポートアプリケーションを書くのです...理論的には、ノード上に直接的にステルブルを生成し、あなたが説明したものはかなり面白い質問ですが、私が気づいていないいくつかの方法があります:)(いつものように) –
CSVファイルに保存するよりも早くCassandraに保存すると思います。私がやりたいことは、redisのようなキャッシュサービスを使って、そのレコードをCassandraに保存します。 – Gunwant
@MarkoŠvaljek私たちはjmxを使ってJavaドライバからcassandraに接続し、データをcassandraに送信します。 –