0

現在、私はストリーミングMLパイプラインで作業中で、イベント処理は1回だけ必要です。私はFlinkに興味がありましたが、外部から実行状態を変更/更新する方法があるかどうかは疑問です。Apache Flink:実行時の状態パラメータを外部から変更する

mlアルゴリズムの状態はFlinkによって保持されていますが、それは問題ありませんが、実行時に実行パラメータを変更したいと考えているため、実行可能な解決策が見つかりません。基本的に外部Webアプリケーション(GO)はパラメータを調整するために使用され、変更は後続のイベントのためにFlinkに反映されます。

私は考えた:

  • ゴーでカスタムソリューションの書き込みパブリッシュ/サブスクライブと共有のRedis(各イベントのポーリングは、スループットを殺すように)
  • :D
  • は...

カフカから入力される複数のイベントストリームのいずれかのソースに関連して、状態はキーによって保持されます。

おかげ

答えて

1

あなたが説明したものを達成するためにCoMapFunction/CoFlatMapFunctionを使用することができます。入力の1つは通常のデータ入力であり、他の入力では状態変更コマンドを受け取ります。これは専用カフカのトピックで最も簡単に摂取することができます。

+0

私はインターネット上で何かを見つけていないので、私は "私はおそらく目的に合わせられていないものを悪用していると思った。 Flink(および友人)はこのアプリケーションに最適な選択肢ではありませんか?私の場合はとても珍しいですか? – Peterdeka

+0

私はco関数が、複数の入力ストリームを持っていても、要素が到着する同じ状態にアクセスしたいというような、この種のユースケースに対して正確に作られていると思います。 –

+0

ありがとうまで、私はそれらを試してみましょう! – Peterdeka

関連する問題