Apache Flinkで分散実行時にメモリをどのように管理していますか？

Question

Java 8でApache Flinkベースのデータストリーム処理アプリケーションを構築しています。ソースストリームを使用して10秒ごとに更新されるオブジェクトの状態完全リストを維持する必要があります。

スペックでは、可能であれば分散ストレージを使用する必要があります。だから、私の質問は、Flinkのメモリマネージャーに関するものです。クラスター構成では、タスクマネージャーが使用するメモリーを複製していますか？または、Flinkで分散メモリ内ソリューションを使用する方法はありますか？

Answer 1

Flink stateをご覧ください。この方法で、チェックポイント/セーブポイントなどの内部メカニズムと統合されるFlinkの状態で格納できます。

他のサービスから外部的にクエリする必要がある場合は、queryable stateを追加することもできます。