Flink SocketTextStreamのソースが1台のマシンにスケジュールされています

Question

私はそれがどのように起こるか把握しようとしています：複数のsocketTextStreamからプログラムを読み込み、これらのテキストストリームを別々のデータフローに送ります。ジョブ）。私はマシンがパフォーマンスに深刻なボトルネックになるように、すべてのソースタスクは一台のマシンにスケジュールされていることが判明したクラスタ上でジョブを実行するとき、しかし

for(int i =0; i< hosts.length; i++) { 

    DataStream<String> someStream = env.socketTextStream(hosts[i], ports[i]); 
    DataStream<Tuple2<String, String>> joinedAdImpressions = rawMessageStream.rebalance() ... 
} 

：それは以下のようなものを探します。どのようなアイデアが起こるでしょうか？

ありがとうございます！

Answer 1

すべての異なるSocketTextStreamFunctionソースが同じマシンにスケジュールされる理由は、スロット共有のためです。スロット共有により、Flinkは異なるオペレータに属するタスクを同じスロットにスケジュールできます。これにより、例えば、相互に依存するタスク（例えば、ビルド側、プローブ側、および同じスロット内で実行される実際の結合演算子）間のより良好なコロケーションを達成することが可能になる。さらに、アプリケーションが必要とするスロットの数を簡単に判断することができます。これは、ジョブの最大並列処理です。

ただし、ジョブの独立したコンポーネントはクラスタ全体に広がることはありませんが、通常はスロットの共有によって同じスロット（つまり同じマシン）で終了します。

異なるスロット共有グループ名を明示的に設定すると、ジョブの一部のスロット共有を無効にすることができます。次に、同じスロット共有グループに割り当てられた演算子だけが、スロット共有の対象となります。ダウンストリームオペレータは、入力からスロット共有グループを継承します。したがって、あなたが困惑しながら並行して仕事をしているならば、ソースでスロット共有グループを設定するだけで十分です。

for(int i =0; i< hosts.length; i++) { 
    DataStream<String> someStream = env 
     .socketTextStream(hosts[i], ports[i]) 
     .slotSharingGroup("socket_" + i); 

    DataStream<Tuple2<String, String>> joinedAdImpressions = rawMessageStream.rebalance() ... 
}