0

Dataflowを使用して約1500のジョブを実装しています。これらの仕事は毎日スケジュールされます。私たちの仕事では、Bigquery Clientライブラリを使用して膨大な数のDML文を使用する可能性があります。 Bigqueryのクォータと制限に関する私の懸念事項をリストアップする。DataflowジョブはBigqueryのクォータと制限に達しましたか?

参考:https://cloud.google.com/bigquery/quotas

私たちは下記のいずれかのシナリオで考慮にBigQueryの日々の使用制限をする必要がないことを確認してください。

  1. 我々はデータフロージョブ内のBigQueryクライアントライブラリを使用してDML文(更新/削除)を使用する場合

は示唆してくださいBigqueryIO.write()

  • を使用してデータの挿入を実装する場合。

  • +0

    おそらくstackoverflow TBHのための大きな質問ではありませんが、とにかく私は答えました。 –

    答えて

    1

    あなたは絶対を考慮にBigQueryのクォータと制限を取る必要性を行う - データフローからそれをフックしても。

    Dataflowは、あなたの代わりにBigQuery APIを呼び出すだけです。したがって、すべてのクォータと制限は、自分で直接呼び出す場合と同じように適用されます。

    関連する問題