BigQueryのレコード挿入数に制限はありますか？

Question

私たちは1回で約0.1百万レコード近くの見積もりを挿入しようとしていますが、このスクリプトはMySqlに0.1マイルのレコードを挿入していますが、Big Queryで約27Kレコードを挿入した後、

また、Big Query APIからのスクリプトの終了中にエラーが見つかりませんでした.BQが挿入などの制限を設定している場合は、理由を知っておいてください！

Answer 1

ストリーミングインサートは、パラレルにするとより効果的です。大きなデータの場合は、ファイルを含むジョブをロードします。行のバッチからいくつかのエラーが発生したり、いくつかのエラーが発生したりする可能性があるため、エラーを正しく処理できることを確認してください。エラーを処理する場合は、この問題に対処する必要があります。

BigQueryにデータをストリーミングする場合、次の制限が適用されます。

• 最大行サイズ：1 MB。この値を超えると、無効なエラーが発生します。 HTTP要求サイズの制限：10 MB。この値を超えると、無効なエラーが発生します。
• 1秒あたりの最大行数：1テーブルあたり100,000行。プロジェクトごとに1,000,000行/秒。いずれかの量を超えるとquotaExceededエラーが発生します。
• リクエストあたりの最大行数：ハード制限はありませんが、最大500行を推奨します。バッチ処理を行うと、パフォーマンスとスループットがあるポイントまで上昇する可能性がありますが、要求ごとのレイテンシを犠牲にします。要求ごとに行が少なすぎるため、各要求のオーバーヘッドによって処理効率が低下する可能性があります。要求あたり1行が多すぎるとスループットが低下することがあります。リクエストあたり約500行を使用することをお勧めしますが、代表的なデータ（スキーマとデータサイズ）を使った実験は、理想的なバッチサイズを決定するのに役立ちます。
• 1秒あたりの最大バイト数：1テーブルあたり100MB。この値を超過すると、quotaExceededエラーが発生します。