Kafka - コンシューマーフルデータリフレッシュ

Question

多くの理由から、コンシューマーは完全なデータリフレッシュを実行する必要があります。データが失われたり、新しいコンシューマーが搭乗したりする可能性があります。

保存期間の後に完全なデータを含む初期オフセットが削除されると、コンシューマは完全なデータ更新をどのように実行できますか？後続のオフセット2、3、4、...はデルタ変更のみを持ちます。最初のオフセットがなければ、データは完全ではありません。

ありがとうございます。

Answer 1

です。できない。このデータが最初に削除されないようにするには、保持時間を長くする必要があります。

しかし、「デルタの更新」がある場合は、それらをKafkaに保存するのではなく、日付に更新を適用してA、delta-1-A、 delta-2-Aは、A1、A2、A3（A1 = A、A2 = A + delta-1-Aなど）を格納します。さらに、トピックcleanup.policyを「保持」から「圧縮」に変更することができます。これにより、カフカが最新バージョンのデータ（キーごと）を決して削除しないようにします。