カサンドラで頻繁に切り詰められ、24時間ttlで大きな墓石が作成されます

Question

ttlは24時間または1日です。私たちは4 cassandra 3.0 node clusterを持っていて、このテーブルにはsparkの処理があります。処理されると、テーブル内のすべてのデータが切り捨てられ、新しいデータバッチが挿入されます。これは継続的なプロセスになります。

問題の処理が終了した後、毎日データが頻繁に切り捨てられるため、私たちはさらにtombstonesを取得しています。

gc_grace_secondsをデフォルトに設定すると、tombstonesとなります。 gc_grace_secondsを1日に減らすと問題になりますか？私がそのテーブルで修理をしても、毎日それで十分でしょう。

私はこの問題にどのようにアプローチすればよいですか？頻繁に削除されるのは反パターンですCassandraで、この問題を解決する方法はありますか？

TABLE b.stag (
    xxxid bigint PRIMARY KEY, 
    xxxx smallint, 
    xx smallint, 
    xxr int, 
    xxx text, 
    xxx smallint, 
    exxxxx smallint, 
    xxxxxx tinyint, 
    xxxx text, 
    xxxx int, 
    xxxx text, 
xxxxx text, 
    xxxxx timestamp 
) WITH bloom_filter_fp_chance = 0.01 
    AND caching = {'keys': 'ALL', 'rows_per_partition': 'NONE'} 
    AND comment = '' 
    AND compaction = {'class': 'org.apache.cassandra.db.compaction.SizeTieredCom                      pactionStrategy', 'max_threshold': '32', 'min_threshold': '4'} 
    AND compression = {'chunk_length_in_kb': '64', 'class': 'org.apache.cassandr                      a.io.compress.LZ4Compressor'} 
    AND crc_check_chance = 1.0 
    AND dclocal_read_repair_chance = 0.1 
    AND default_time_to_live = 86400 
    AND gc_grace_seconds = 864000 
    AND max_index_interval = 2048 
    AND memtable_flush_period_in_ms = 0 
    AND min_index_interval = 128 
    AND read_repair_chance = 0.0 
    AND speculative_retry = '99PERCENTILE'; 

テーブルのTRUNCATEは墓石を呼び出すべきではありませんあなた

Answer 1

に感謝します。だから、あなたが「切り捨てる」と言っているとき、私はあなたが削除を意味すると思います。すでに述べたように、gc_grace_secondsの値を落とすことはできますが、これは、データを調整するための修復ウィンドウを小さくし、各ノードが特定のキーなどに対して正しい墓石を持っていることを確認したり、そのトレードオフ。

ただし、毎回テーブルをクリアする場合は、TRUNCATEコマンドを使用してください。このようにして、テーブルを削除せずにフラッシュします。