flinkクラスタにたくさんのジョブを作成するのがよい方法ですか？

Question

私は、フリンクストリーミングでルールエンジンを作成する予定です。

実行に関するいくつかの要件があります

• がルールセットに対して実行されるすべてのイベントは、カフカから読み取る必要があります。
• すべてのルールは、限られた時間内に実行する必要があります。

問題は、実行時にルールを追加できるため、ルールを実行できる最大時間を超える可能性があるため、すべての受信メッセージを処理するためのジョブをたくさん作成できません。

私は期限内に1つのルールを実行できるという保証があります。

ルールごとに1つのジョブを作成し、新しいルールが来たときにジョブを追加するのがよいのでしょうか？ （これは数百のルールでもよい）。

私は、これが問題を処理する方法ではなく、理由を説明するのに本当に合理的なものではないという直感を持っています。

第2の方法は、ルールがどのイベントに対して実行されたかについてのトレースを保持するために、（例えば、飼い猫のような）待ち行列を維持することである。だから、各ジョブの作業のみに構成されています

• は、すべてのルールがイベント

Answer 1

に対して実行されるまで、再びそれを行うイベント

に対してそれを実行

キュー内のルールを選択

プログラムロジックを動的に変更する場合は、co-flatmap演算子を使用できます。 co-flatmap演算子には2つの入力があり、1つは通常のイベント入力で、もう1つはルール入力です。内部的にルールを保存し、それを他の入力からの着信イベントに適用します。あなたはまた、CEPエンジンを使用してFLINKにそれを統合することができ

DataStream<Input> input = ... 
DataStream<Rule> rules = ... 

input 
    .connect(rules) 
    .keyBy(keySelector1, keySelector2) 
    .flatMap(new MyCoFlatMap()); 

public static class MyCoFlatMap implements CoFlatMapFunction<Input, Rule, Output> { 

    @Override 
    public void flatMap1(Input input, Collector<Output> collector) throws Exception { 
     // process input 
    } 

    @Override 
    public void flatMap2(Rule rule, Collector<Output> collector) throws Exception { 
     // store rules 
    } 
}