Apache Flink：ストリーミングアプリケーションにintermediaデータを保存する方法

Question

FlinkのDataStream APIを使用してMisraGriesアルゴリズムを実装しています。 kカウンタに増分または減分のデータサマリを記録させます。

DataStream APIを使用してアルゴリズムを実装する場合、このようなカウンタを格納する最良の方法は何ですか？今私はオペレータの変数HashMapを宣言しました。これは正しいアプローチですか、あるいは私は州のようないくつかの他の機能を使う必要がありますか？

Answer 1

Flinkの管理状態、つまりkeyed stateまたはoperator stateとenable checkpointingのいずれかにカウンタを格納する必要があります。さもなければ、情報は失敗の場合に失われます。

状態が正しく使用され、チェックポイントが有効な場合、Flinkはアプリケーションの状態を定期的にチェックポイントします。障害が発生した場合、ジョブは再開され、その状態は最新のチェックポイントにリセットされます。