2017-09-29 9 views
-1

通常、毎日取得したデータの範囲は10万レコード以上にする必要があります。しかし、2つのbigquery転送(オーナーIDごとに1つずつ)をセットアップするときは、同じサフィックスを使用して、データが同じテーブルに移動します。転送には大量のデータがありません。Setup 2 youtube bigquery transfer(オーナーIDごとに1つ)、同じサフィックスを使用して、データが同じテーブルに移動します。転送に大量のデータがありません

転送ステータスは正常に表示されますが、いつかは100,000+レコードの代わりに4000-5000レコードしか得られません。しかし、いつか私は10万レコードを持っています。

質問1:

が可能BigQueryの転送はデータのみの部分的な転送が終了したことですか?私の理解はbigquery転送は "すべてまたはなし"です。成功すると、すべての転送が完了します。失敗した場合、ゼロレコードが転送されます。

しかし、一部のケースでは、bigqueryが失敗しましたが、ステータスが完全であることがわかります。

質問2:私は2つの転送、同一のテーブルにデータを送信し、両方の転送を設定する際

、私は非常故障率増加を見ることができます。

2つの転送が何らかの形でプロセスで競合する可能性はありますか?

答えて

0

OK。

私は確認しました。

例えば、私はアカウント1を持っていると、アカウント1の転送を実行する2.

  1. を占め、私は100,000行を得ました。
  2. アカウント2の転送を実行すると、私は5,000行を取得しました。

しかし、私は両方とも1の転送を考慮し、同じテーブルに2の転送(同じサフィックスを)アカウントを設定

  1. 私はアカウント1転送を実行して、私は100,000行を得ました。
  2. 次に、アカウント2の転送を実行しました。アカ​​ウント1の転送によって生成された100,000行が失われましたが、アカウント2が5,000行作成されました。 BigQueryの専門家の助言

。はい。 1つのテーブルにデータをダンプするために2回の転送を設定することはできません。 bigqueryの転送のために、バックフィルは "削除と挿入"です。

関連する問題