プログラムで日付パーティションテーブルを作成

Question

Apache Beam BigQueryIOを使用して日付パーティションテーブルを作成する方法はありますか？つまり、まだ作成されていないテーブルにパーティションデコレータを使用する方法はありますか？

最初にテーブルを作成してからコード内でパーティションデコレータを使用できますが、動的にフィールドのフィールドからTableDestinationを決定するため、これらのテーブルを事前に作成することはできません。

私のコードは次のようである。これにより

rows.apply("Write rows", 
    BigQueryIO.writeTableRows() 
     .to(new SerializableFunction<ValueInSingleWindow<TableRow>, TableDestination>() { 
      @Override 
      public TableDestination apply(ValueInSingleWindow<TableRow> value) { 
      TableRow t = value.getValue(); 

      String tableName = ... // get from the fields of table row 
      String partition = ... // get the date part that will be used for decorator 

      TableDestination td = new TableDestination(
         "project-id:dataset-id." + tableName + "$" + partition, ""); 
       return td; 
      } 
     }).withSchema(someSchema) 
     .withWriteDisposition(BigQueryIO.Write.WriteDisposition.WRITE_APPEND) 
    .withCreateDisposition(BigQueryIO.Write.CreateDisposition.CREATE_IF_NEEDED)); 

、それはproject-id:dataset-id.tableName$partitionのテーブルを作成しようと、それは$は、テーブル名の内部で使用することはできません文句を言います。

Answer 1

これは現在可能ではないようです。

BEAM JIRAの公式問題リストには、BEAM-2390とan official pull requestのリクエストがありますので、すぐにこれが可能になるようです。

Answer 2

テーブルIDフォーマット：The ID of the table. The ID must contain only letters (a-z, A-Z), numbers (0-9), or underscores (_). The maximum length is 1,024 characters.BigQuery docを確認してください。