Google Big Query - 最終データを含む日付分割テーブル

BigQueryの使用例は少しユニークです。私はDate-Partitioned Tablesを使い始めるが、我々のデータは非常に最終的なものである。それが発生したときに挿入されることはありませんが、最終的にサーバーに提供されるときに挿入されます。時には、データが挿入されるまでに数日か数か月かかることがあります。したがって、_PARTITION_LOAD_TIME属性は無用です。Google Big Query - 最終データを含む日付分割テーブル

私の質問では、_PARTITION_LOAD_TIME引き数のように動作する列を指定する方法がありますが、まだ日付区切りテーブルの利点がありますか？これを手動でエミュレートし、それに応じてBigQueryを更新することができれば、Date-Partitionedテーブルの使用を開始できます。

誰でも良い解決策がありますか？

出典

2016-07-18 Dovy

独自の列を作成する必要はありません。
_PARTITIONTIME疑似カラムは引き続き使用できます。
あなたが行う必要があるのは、テーブル名だけでなく、テーブルを参照することによって、それぞれのデータ・バッチをそれぞれのパーティションに挿入/ロードすることです。yourtableのようなパーティション・デコレータを持つテーブル$ 20160718
この方法で、

出典

2016-07-18 21:19:21

私はすでにテーブルを分割しているので、完璧です。私はちょうどそれを参照する方法を変更する必要があります。 :) – Dovy

潜在的に大量のテーブルを持っているし、それを列を使用してDay-Partitionedテーブルに分割するとどうなりますか？これは可能ですか、それとも個々のテーブルを作成してから日時テーブルに変換するのが最善でしょうか？ – Dovy

日付（YYYMMDDの接尾辞付き）のテーブルが既にある場合 - パーティションテーブルに変換することをお勧めします - 詳細はhttps://cloud.google.com/bigquery/docs/creating-partitioned-tables#converting_dated_tables_into_a_partitioned_table –

Google Big Query - 最終データを含む日付分割テーブル

答えて

関連する問題