BigQuery上書きジョブ中のストリーミング挿入

Question

BigQueryテーブルがあり、writeDisposition WRITE_TRUNCATEでジョブを使用して、テーブルの行のサブセットで上書きしたいとします。 DELETE FROM … WHERE …操作を模倣しようとしているため、私はこれをやっています。

ジョブが実行されているときに、同時に行をテーブルにストリームしようとしているとします。ジョブの実行中に行を挿入することは可能ですか？ジョブの完了時に上書きされる可能性はありますか？または、ジョブが終了するまで行が挿入されないようにするロック機構がありますか？

Answer 1

この場合、操作を行うまでストリーミングジョブを停止する必要があります。そしてあなたがそれで終わったら、再開してください。ロックはありません。

また、ストリーミング挿入を停止した後は、バックグラウンドで処理されるため、システムを終了させる必要があるため、冷却期間が必要です。

Answer 2

ストリーミングシステムのテーブルメタデータキャッシングレイヤーのため、現在、テーブルが切り捨てられていることを認識するのに約10分かかります。この〜10分の間、すべてのストリーミングされたデータは削除されます（削除されたデータの一部とみなされるため）。

Pentium10では、WRITE_TRUNCATEを実行している場合はストリーミング要求を一時停止し、切り捨てが完了してから10分後に再開することをお勧めします。