BigQueryのBQ負荷内部エラー

Question

背景

私はBQ CLIを使用してx.json JSONファイルをロードしようとしています。

猫x.json

{ "名前"： "XYZ"、 "モバイル"： "XXX"、 "場所"： "ABC"}

{ "名前"： "XYZ 」、 "モバイル"： "XXX"、 "年齢"： "22"}

コマンドに使用

BQ負荷--autodetect --source_format = NEWLINE_DELIMITED_JSONプロジェクト：test_datasets.custのx.json

'cust'はスキーマが空の表です。

私は '--autodetectを使用しているため、BigQueryはスキーマを自動的に検出します。

出力

アップロードが完了。ロード操作で
BigQueryのエラーをDONE：エラー処理ジョブのプロジェクト：bqjob_r475558282b85c552_000001569cf1efd8_1 '：内部エラーが発生し、要求を完了できませんでしたbqjob_r475558282b85c552_000001569cf1efd8_1 ...（1S）現状の待機

。

なぜ、内部エラーが発生し、解決するのか？

Answer 1

私たちが見ていくつかの問題：

要求がランダム型「バックエンドエラー」で失敗

要求がランダム型「接続エラー」
• 要求がランダムタイプ「タイムアウト」で失敗して失敗し
• いくつかの他のエラーメッセージは説明的ではなく、あまりにも漠然としているので、あなたには役立ちません。ただ再試行してください。
• 私たちは毎日何百もの失敗を見るので、かなり安定しており、クラウドの健康とは関係ありません。

このすべてについて、有償のGoogleエンタープライズサポートでケースを開きましたが、残念ながら問題は解決しませんでした。 の縫い目は、リトライを伴う指数バックオフであることが推奨されています。また、障害率はSLAで99.9％の稼働率に収まるため、異論はありません。

SLAに関しては、非常に厳密に定義された構造ですが、詳細はhereです。 99.9％の稼働率はフェールレートに直接変換されません。これは、BQが30分の休止時間を1ヶ月有し、その後、その期間内に10,000個の挿入を行い、その月の他の時間に挿入を行わなかった場合、番号が串刺しになることを意味します。これが指数バックオフアルゴリズムを提案する理由です。SLAは明示的に稼働時間に基づいていますが、エラー率ではありませんが、論理的には、バックオフと再試行の設定を別々の時間に挿入して1か月間ストリーミングすると密接に関連しています。技術的には、適切な再試行メカニズムを設定している場合は、月間インサートを実行している場合、平均で約1/1000のインサートを経験する必要があります。

あなたはあなたのプロジェクトの健康についてこのチャートをチェックアウトすることができます： https://console.developers.google.com/project/YOUR-APP-ID/apiui/apiview/bigquery?tabId=usage&duration=P1D