Apache flinkのノード間でデータセットを共有する最良の方法は何ですか？

Question

私はApache Flinkを使用してデータストリームを処理しています。入力データを処理するすべてのノード間でインデックスを共有する必要があります。インデックスはノードによって頻繁に更新されています。

効率性の観点から、ブロードキャスト変数を介してデータセットを共有するのは良い方法ですか？

ブロードキャスト変数は、各アップデート後にすべてのノードで更新されるかどうかを確認します。

Apache Flinkは、最近の変更だけでブロードキャスト変数を増分的にインテリジェントに更新しますか？

Answer 1

私は、Flinkの管理された状態記述子に基づいてステートフルな関数を使うことに解決策があると思います。状態が区画可能でない場合、オペレーターのために並列性を1に設定します。