Google Dataflow late data

Question

Dataflow SDKのドキュメントを読んで、データがストリーミングジョブの透かしを超えて到着したときに何が起こるかを調べています。

このページ：

https://cloud.google.com/dataflow/model/windowing

を使用すると、デフォルトのウィンドウ/トリガー戦略を使用している場合、その後、後半のデータが破棄されることを示します。

注：データフローのデフォルトのウィンドウとトリガー戦略は捨てます遅いデータ。パイプラインが遅延データのインスタンスを処理するようにするには、PCollectionのウィンドウング戦略を設定し、それに応じてPCollectionのトリガーを設定するときに、明示的に.withAllowedLatenessを設定する必要があります。

はまだありませんこのページ：

https://cloud.google.com/dataflow/model/triggers

それが遅れて到着したときに後半のデータは、単一の要素PCollectionとして放出されることを示します。

PCollectionのデフォルトのトリガはイベントですシステムのウォーターマーク（すべてのデータを「必要」とするDataflowの概念）がウィンドウの最後を通過するときにウィンドウの結果を出力します。デフォルトのトリガーは反復ベースで発行されます。つまり、遅延データは定義どおりにウォーターマークの後に到着し、トリガーをトリップし、遅い要素が到着したときに放出されます。

ウォーターマークを過ぎたデータは完全に破棄されますか？または、時間内に到着したときにウィンドウが表示され、代わりに単独で放射される他のデータでは放出されませんか？

Answer 1

デフォルトの「ウィンドウとトリガー戦略」は、遅延データを破棄します。 WindowingStrategyは、ウィンドウ処理、トリガリング、および許可された遅延などのいくつかの他のパラメータで構成されるオブジェクトです。デフォルト許容待ち時間は0であるため、遅延データ要素は破棄されます。

デフォルトのトリガーは遅延データを処理します。デフォルトのWindowingStrategyを使用し、許可された遅延のみを変更すると、すべてのオンタイムデータ用に1つの出力ペインを含むPCollectionが受信され、ほぼすべての遅延エレメントの新しい出力ペインが表示されます。