2017-03-01 9 views
0

私は、Flinkで複数のストリームをマージする際の障壁を作るための適切な方法を理解しようとしています。Flinkのアプリケーションレベルのバリア

だから私は4つのキーストリームがあり、それぞれがデータのバッチ上でいくつかの集計統計を計算しているとしましょう。次に、これらの4つのストリームの結果を1つのストリーム(Y)に結合して、受信した4つのサマリで追加の計算を実行したいとします。

enter image description here

問題は、それがXとN = X = N + 1で前方に行く前に、すべての要約を受信するまでYノード待機を作成する方法です。ピクチャノードで は、その要約Xを送信し= N後でノードよりXと要約をキャッシュしながら、ノード要約を受信するまで=待たなければならないので、ノードY 1 +そのXを送っ= N何らかの形で他のノードからのN + 1。

私はドキュメントで類似したものを見つけることができなかったので、何かヒントは本当にありがたいです。

答えて

0

私は、このタスクは、単に以下のようにして解決することができます考え出し:

.keyBy(X) 
.countWindow(4) 
.fold(...) 
関連する問題