Google Dataflow - 複数のBigQueryテーブルにデータを保存

Question

Google Dataflow 1.9を使用してBigQueryテーブルにデータを保存しています。 私は、（PCollection）要素が書き込まれるテーブル名を、その要素の値に基づいて制御する方法を探しています。私たちの場合、要素にはuser-idが含まれており、それぞれに独自のuserテーブルを動的に書きたいと考えています。

Answer 1

1.9.0では、（1）要素を複数の出力コレクションに分割し、各出力コレクションを特定のテーブルに書き込むか、（2）要素をウィンドウに基づいて選択して宛先を選択するか。オプション1は、目的地テーブルのセットが比較的少なく、オプション2がウィンドウに基づいている場合にのみ機能し、ユーザーごとの目的地のユースケースに非常に適合します。

2.0.0にアップグレードすると、宛先は、DynamicDestinationsまたはSerializableFunctionのいずれかを使用して、ウィンドウとデータ要素を受け取る関数で指定できます。これにより、各要素を受け取り、ユーザーIDに基づいて宛先を選択することができます。