row_cache最適化による高い読み取りスループットを持つCassandraクライアントコード

Question

同じレコード（または少数の値）を読み続けると、少なくとも数十万回の読み込みスループットを達成できるcassandraクライアントコードをユーザーに指摘できますか？レコードの）何度も何度も？私はrow_cache_size_in_mbが頻繁に使用されるレコードをメモリにキャッシュすると思われますが、それを10MBと言うように設定することで違いはないようです。

私はもちろんcassandra-stressを試しましたが、1KBのレコードで最大の読み取りスループットは(-col size=UNIFORM\(1000..1000\))〜15K/sです。

上記の数値が小さいと、小さなワーキングセットサイズで、少なくとも100万回の読み込みが可能なメモリ内ハッシュマップベースのキャッシュを簡単に書き込むことができます。どのようにして私は自動的にこれを行うのですか？あるいは、小さなワーキングセットのサイズであっても、メモリ内のマップに近いパフォーマンスを達成するはずがありませんか？

Answer 1

row_cache、counter_cache、およびkey_cacheをすべて有効な値に設定すると、「top」を使用してcassandraがディスクI/Oをまったく実行しないことを確認できます。 3つすべてがディスクの動作を保証するために必要なように見えます。しかし、ディスクI/Oがゼロであるにもかかわらず、スループットは1レコードを何度も何度も読み込んだとしても、< 20K/sです。これは、操作が完全にメモリ内であっても（つまり、ネイティブのハッシュマップのパフォーマンスと競合するように設計されていなくても）、cassandraが直列化と逆シリアル化のコストを負担することを（おそらく私のコメントでも指摘している）したがって、小さな作業セットの作業負荷に対してネイティブのハッシュマップ速度を取得し、マップが大きくなるとディスクに展開する場合は、独自のキャッシュをcassandra（または他のキー値ストアのようなもの）の上に書く必要がありますモンゴ、レディスなど）。

シンプルなget/putの小さな作業セットのワークロードでは、recandがcassandra、mongo、およびredisの中で最も速いことも確認しましたが、赤字さえも35K/sの読み取りスループット意図的にポインタを返すネイティブハッシュマップのパフォーマンスには至っておらず、200万/ s以上で快適に動作することができます）。

Answer 2

同じレコード（または少数のレコード）を何度も何度も読み続けると、少なくとも数十万回の読み取りスループットを達成できるcassandraクライアントコードを私に指摘できますか？

このシナリオのためのいくつかのソリューションは、

ひとつのアイデアは、あなたがすべての利益を失うので、キャッシュからパーティション全体を無効にする行キャッシュを使用しますが、注意してください、任意の更新は/単一の列に削除することがありますされています。行キャッシュの最適な使用法は、小さなデータセット用であり、頻繁に読み込まれますが、ほとんど変更されません。

あなたのcassandra-stressのシナリオで同じパーティションに何度も何度も更新や書き込みを行うことはありませんか？