Flink（カフカソース）はどのようにオフセットを管理していますか？

Question

FlinkのFlinkKafkaConsumer09を使用していますが、カフカコンシューマのオフセットはどこに保存されていますか？

私はZookeeperやKafkaのオフセットトピックでそれらを見つけることができません。また、kafka-consumer-offsetツールが見つかりません。

これはFlink内部で処理されますか？

Answer 1

Flinkは、純粋にKafkaのコンシューマグループのオフセットトラッキングに依存しているわけではありませんが、内部的にもこれらのオフセットを追跡してチェックポイントします。

Flinkは、Flipの分散チェックポイントメカニズムを使用して、カフカのトピックや定期的なチェックポイントからデータを消費します。失敗した場合、Flinkはチェックポイントディレクトリからレコードを復元し、それ以降のカフカからのデータの読み取りを開始します。

障害Kafkaコンシューマを使用するには、Flinkでチェックポイントを有効にすることが重要です。

これはどのように行うことができます。

final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); 
env.enableCheckpointing(5000); // checkpoint every 5000 msecs