フライングストリーミング - ストリームのデカルト積と窓掛け

Question

私は、キーとタイムスタンプを持つストリームがあると仮定します。これらのキーのデカルト積を各ウィンドウ（スライディングウィンドウ）に作成したいと思います。私は、キー1,2,3,4と私は2つの並列処理を設定しているを持っている場合は、私は次のように「グループ」、それらをしたい：

1 - 2 2 - 3 
1 - 3 2 - 4 
1 - 4 3 - 4 

そして、私はグループごとあたりの要素を処理したいです窓。上の要素（1,2,3,4）がタイムスタンプに基づいて同じウィンドウ内にあると想像してください。

最も単純な形で私の質問は、各スライディングウィンドウ（いくつかのキーが含まれているかもしれません）にいくつかの要素がある場合、上記の例のようにこれらのキーの組み合わせを作成し、 。私がこれまで試してみました何

は、

.assignAscendingTimestamps(...) 
.keyBy(...) 
.timeWindow(Time.seconds(5),Time.seconds(5)) 
.apply(...) 

の使用であるが、これは唯一のキーごとにアルゴリズムを適用する、プラスの組み合わせを作成することができません。

私はこの文書を見てきました。：P.S：https://cwiki.apache.org/confluence/display/FLINK/Streams+and+Operations+on+Streams

と私は離散化ストリームがトリックが行うだろう述べたと思いますが、彼らはFLINK 1.2（または他のバージョン）では使用できません。

Answer 1

ストリーミングコンテキストのkeyBy()は、バッチ処理コンテキストではgroupBy()と同等の効果があります。 KeySelectorに基づいて、ストリームをいくつかのサブストリームに分割します。それらはあなたのtimeWindowに送られます。したがって、あなたの現在の例は、KeyedStreamのtimeWindowです。 timeWindowに入って、後で適用する関数に放出されるすべての要素は、まったく同じキーを持ちます。 Flinkでのウィンドウイングについての素敵な紹介は、ウィンドウの使い方の詳細をいくつか紹介しています。https://flink.apache.org/news/2015/12/04/Introducing-windows.html キーに意味情報が含まれていて、同じウィンドウ内で異なるキーを使用する場合は、レコードに割り当てる人工キー（例：単純な整数）を作成できます。このキーに基づいて、グループ化とストリーム分割をより細かく制御できます。 前の手順の結果を集めて結合する最後の計算では、追加の手順が必要です（例：joinまたはreduce）。 ここで最初の例を見てみましょう：https://ci.apache.org/projects/flink/flink-docs-release-1.2/dev/datastream_api.html sum()関数を使用して、timeWindowの5秒間に所定のキーを持つすべての要素を数えます。結果には、ウィンドウごとにキーごとに1つの要素が含まれます。