2017-09-13 17 views
3

Big QueryでのWRITE_TRUNCATEの動作に関する質問があります。ビッグ・クエリでのWRITE_TRUNCATEの動作

私は定期的にログデータ(ログ行ごとに1行)を追加している大きなクエリテーブル(T1)を持っています。このテーブルから読み取ったデータフロージョブ(D1)を作成し、重複する行を削除して他のデータクレンジング操作を実行し、これを別の大きなクエリテーブル(T2)に出力し、この表には存在していた。私は、データフロージョブ内のBigQuery.IOシンクのWRITE_TRUNCATE write dispositionを使用してこれを行うことができると信じています。

質問は、私は別のデータフロージョブ(D2)テーブルT2からの読み取りを持っている場合仕事D1は、このテーブルへの書き込み切り捨ての真ん中にありながら、どのようなデータD2は見ない、すなわちですそれは、切り捨て前または切り捨てが完了した後のいずれかの状態のテーブルを参照します。または、トランケート中に任意のステップでテーブルを表示できますか(たとえば、新しいデータを追加する途中まで)?

上記のリンクされているjavadocは、ではない可能性がありますが、REST documentation for Big Queryはそうであることを示しています。

答えて

3

REST APIは実際にはここの真実のソースです。つまり、の変更は、BigQueryジョブの正常終了時にはアトミックです。

関連する問題