データがパーティションテーブルの後半に到着する

Question

Google Bigqueryでパーティション機能を使用しようとしています。 テーブルに入るログは、テーブルの最後に反映されているように見えます.13時にログが記録された場合、テーブルに約15分の差があります。パーティション化されたテーブルにリアルタイムで適用する方法はありますか？

Answer 1

ストリーミング・インサートを使用して表にデータを追加している可能性があります。 BigQuery documentationによると、ストリーミングバッファのデータはまだ_PARTITIONTIME IS NULLパーティションに関連付けられているため、クエリのWHERE句に_PARTITIONTIMEを使用すると、そのデータが失われる可能性があります。 WHERE句に明示的に_PARTITIONTIME IS NULLを追加すると、未分割のストリーミングデータが表示されます。通常は15分以内にパーティションに分割されます。