2016-07-21 2 views
4

TL:DR;フラグが設定されている場合にのみ起動するカスタムトリガを作成することは可能ですか?大規模なデータイベントが発生していることがわかっている間に、トリガを使用してジョブを展開することは可能でしょうか?そのイベントが終了したら、トリガが通常または遅延なしでジョブに更新を展開しますか?続きdataflowはカスタムトリガーをサポートしていますかトリガー遅延を更新していますか?

:私たちは、古いデータの埋め戻しをやっている時に、これが最もという問題(重複の発射数百万)が起こる状況Remove duplicates across window triggers/firings

です。これがいつ起きているかを知ると、フラグが設定されている間は起動しないカスタムトリガを実装できるかどうか疑問に思っていました。それは可能なことでしょうか?また、バックフィルが行われている間に膨大な遅延を含むトリガーを使用してジョブを展開し、終了したら通常のトリガーでアップデートを発行できますか?

答えて

1

Dataflowではカスタムトリガー、または別のメタデータに基づくトリガーはまだサポートされていません。ただし、Updateを使用して処理時間トリガーの頻度を変更することはできます。単にplusDelay()ビルダー関数の値を変更し、通常通りに--updateを指定して実行してください。

+0

更新後、ただちにトリガーを待っていたすべてのgroupbyが解雇されるということですか?または、新しいデータがウィンドウに表示されるまでは起動しませんか? – bfabry

+1

新しいデータが表示されない場合は古いタイムアウト後に、新しいデータが表示された場合は新しいタイムアウト後に起動します – danielm

+0

ありがとう – bfabry

関連する問題