BigQueryを使用して100万行を高速に挿入する

Question

私はbqコマンドラインを使用していて、大量のjsonファイルを1日に1つのテーブルに挿入しようとしています。

私のアプローチ：

1. リスト即日ファイル=> YYYMMDD.ndjson
2. スプリットYYYMMDDでプッシュ（YYYMMDDHHMM.meta1.meta2.jsonという名前日付）
3. CONCATENATEされるすべてのファイル。 ndjsonファイル（500行はそれぞれのファイル）YYYMMDD.ndjson_splittedijオーバーYYYMMDD.ndjson_splittedij

ループと

0123を実行します

このアプローチは機能します。私はそれが改善できるかどうか疑問に思います。

Answer 1

また、ストリーミングの挿入とジョブの読み込みが混乱しています。 各ファイルを500行に分割する必要はありません（ストリーミング・インサートに適用されます）。

あなたは、挿入のための非常に大きなファイルを持ってここに記載されているコマンドライン]タブの例を見ることができます：https://cloud.google.com/bigquery/loading-data#loading_csv_files

あなたはのみ実行する必要があります。

bq load --source_format=NEWLINE_DELIMITED_JSON --schema=personsDataSchema.json mydataset.persons_data personsData.json 

圧縮されていない場合、圧縮JSONファイルが4GBの下でなければなりません5 TB未満でなければなりません。コマンドが機能するまで、常に10行のサンプルファイルで試してください。