1
ストリーミングモードのDataflowパイプラインを設定して、別々のBigQueryテーブルに各ウィンドウを書き込む(必要に応じて作成する)方法の例は簡単ですか?Google Cloud Dataflowを使用してSharded(日付)BigQueryテーブルに作成/書き込みする
I.e. - table_20160701、table_20160702など
ストリーミングモードのDataflowパイプラインを設定して、別々のBigQueryテーブルに各ウィンドウを書き込む(必要に応じて作成する)方法の例は簡単ですか?Google Cloud Dataflowを使用してSharded(日付)BigQueryテーブルに作成/書き込みする
I.e. - table_20160701、table_20160702など
サンプルコード:
`
PCollection<TableRow> quotes =
quotes.apply(Window.<TableRow>into(CalendarWindows.days(1)))
.apply(BigQueryIO.Write
.named("Write")
.withSchema(schema)
.to(new SerializableFunction<BoundedWindow, String>() {
public String apply(BoundedWindow window) {
// The cast below is safe because CalendarWindows.days(1) produces IntervalWindows.
String dayString = DateTimeFormat.forPattern("yyyy_MM_dd")
.withZone(DateTimeZone.UTC)
.print(((IntervalWindow) window).start());
return "my-project:output.output_table_" + dayString;
}
}));
}
`
ここから撮影: