SlidingWindowsでデータフローが重複しないようにしますか？

Question

雲のデータフローでは、サイズとステップを持つSlidingWindowの機会に要素を複数のウィンドウに割り当てることができます。実際には、隣接する2つのウィンドウ内の要素は、スライドするステップを除いてほぼ同じである、非常に小さなステップを有する大きなサイズのSlidingWindowを有すると仮定する。

SlidingWindowで計算すると、このウィンドウ内のすべての要素が読み込まれ、これらの要素の計算が開始されます。または、隣接するウィンドウは、計算結果の重複を避けるためにいくつかの計算結果を再利用できますか？要素が複数のウィンドウに割り当てられたときにコピーされるかどうか。

Answer 1

Dataflowには、SlidingWindowsのような特別な処理はありません。要素は、割り当てられたすべてのウィンドウで発生します。

通常、SlidingWindowsにはCombineFnという文字を使用しても、パフォーマンスに問題はありません。問題が発生している場合は、最初に試しておき、あなたが計算しようとしていることとあなたのウィンドウの詳細を詳細に追うことをお勧めします。

これを最適化として自動的に行うことは、ユーザー定義のウィンドウ、トリガー、順序外のデータ、およびシステム内に既に存在するその他の最適化があるとうまく機能しません。