Bigqueryストリーミングデータ遅延

Question

何かの理由で何らかの理由でbigqueryテーブルにデータをストリーミングしていますが、データがすぐに利用できないことを確認しました。ストリーミングされたデータは最終的にはクエリに使用できます。時には1時間以上同期していないように見えることもあります。しかし、データは最終的には遅れて現れます。

これは予想されますか？そうであれば、その周りの道は何ですか？テーブルは日付でパーティション化されており、特定のパーティションにデータをロードしていないため、現在の日付のデータのみをストリーミングしています。

アップデート：私はデータが利用できないと言うとき

、私は次のクエリを実行している意味は、データがBigQueryのにプッシュされた日付/時刻と一致していないようです。

select max(dateTime) from [nproj.reporting] ; 

Answer 1

私はあなたの痛みを感じます。私は実際にthis guy's question (and answer)が照らしているのを発見しました。