Apache Flinkで静的テーブルを永続化する方法はありますか

Question

現在、Apache FlinkでETLを処理しようとしています。このプロジェクトでは、CityNameからCityIDに変換するためにディメンションテーブルを照会する必要があるいくつかの手順があります。以下のようなプロジェクト構造：現時点では

Project--------------------- 
     | 
     ---- Company ETL (CityName column map to CityId) 
     | 
     ---- Employee ETL (CityName column map to CityId) 

は、各ストリームのために、私たちの方法は、ディメンション表がありますMySQLの上のJDBCクエリアクションを呼び出すことです。これは効果的な方法ではありません。私は内部でFlinkのディメンションテーブルの内容をプロジェクト全体で使用できるようにする方法があるかどうか尋ねたいと思います。

Answer 1

翻訳テーブルを更新する必要があるときにアプリケーションを再起動しても大丈夫だと思います。しかし、代替案を探しているならば、翻訳テーブルにストリームを加えて更新することができ、RichCoMapまたはRichCoFlatMapを使って翻訳を行うことができます。変換テーブルはstate managed by Flinkとして保存します。 Flinkの観点から、変換テーブルはモノリシックのValueStateの1つのチャンクであるか、またはFlink 1.3の場合はMapState（docs）を使用できます。