は一度発射トリガーは

Question

データセットのデータ量を削減するために使用することができます。新しいバージョンのユーザーには新しい名前が付いていますが、nice_idは決して変更されません。ページの新しいバージョンには新しいpage_namesが付けられ、クリックは変更されませんが、クリックのpage_nameが変更されると新しいoutput_clickが必要です。

したがって、すべての入力要素でトリガされたグローバルウィンドウでpage_idのクリックとページの間にCoGroupByKeyがあり、そのページのすべてのクリックを再発行しますが、同様のグローバルウィンドウと共同グループ化がある場合、 user_idをキー入力し、すべての要素のnice_idをクリックするたびにユーザーが変更したとき、または新しいクリックを行うたびに、ユーザーが再発するすべてのクリックを取得します。それは多くの余分なデータになるでしょう。

私が考えているのは、user_idのグループ共通キーの後に、click_idのキーごとに1回だけトリガーするトリガーを持つ新しいグローバルウィンドウ、本質的に何もしないParDo group-by-keyが起こるようにしてから、すべての要素に対して起動するグローバルウィンドウを再確立してから、page_idのキーごとにグループ化された結果の出力に戻って結合します。これはうまくいくようですか？しかし、また、ちょっとだけ複雑なようです。私は下の図を描こうとしました。一度だけ発射トリガーと新しいデータに繰り返し O.Window =グローバル・ウィンドウを起動トリガと

+-------+ +--------+ +------+ |Pages | | Clicks | | Users| +---+---+ +---+----+ +--+---+ | | | +---v----+ +---v----+ +---v----+ |R.Window| |R.Window| |R.Window| +------+-+ +---------+ ++-------+ | | | | +----v---v+ +v-----v---+ |CoGroupBy| |CoGroupBy | |page_id | |user_id |<-- also ParDo that outputs click_id,nice_id mapping +-------+-+ +------+---+ | | | +---v----+ | |O.Window| | +---+----+ | | | +----v---+ | |GroupBy | | |click_id| | +----+---+ | | | +----v--+ | |nothing| | |Pardo | | +---+---+ | | | +----v---+ | |R.Window| | +-+------+ | | +---v------------v+ | CoGroupBy | | click_id | +-------+---------+ | v Output

R.Window =グローバルウィンドウ。

Answer 1

私はそれがうまくいくとは思わない。キーのCoGroupByUserIdを介して最初に取得されたものは処理されますが、その後のすべてのレコードは破棄されます。

CoGroupByKeyを使用する代わりに、FlattenとCombinePerKeyをカスタムCombineFnで使用することをお勧めします。 CombineFnはアキュムレータに状態を保持します（ウィンドウトランスフォームで.accumulatingFiredPanesを使用するようにしてください）。そして、新しいユーザー名がある場合にのみ要素を放出するように選択できます。

（サイドノート：あなたは「何もパルド」を必要としません。ただGBKで十分です）