Pythonを使用してCloud StorageからBigQueryにテーブルをロード

Question

誰かがjson newline_delimitedファイルを新しいBigqueryテーブルにアップロードするためのジョブ設定の例を共有できますか？

これまでGoogle文書を元にしてこれを試みましたが、これまで成功していませんでした。

Answer 1

This example GCPリポジトリからのデータをロードするには、GCSからデータを読み込むのに適しています。

あなたのコードに適応する必要があります唯一の事はそうのような新しい区切られたJSONファイルであるとjob.source_formatを設定されています（正しいものは、入力として、このパラメータを受け取ることであろう

def load_data_from_gcs(dataset_name, table_name, source): 
    bigquery_client = bigquery.Client() 
    dataset = bigquery_client.dataset(dataset_name) 
    table = dataset.table(table_name) 
    job_name = str(uuid.uuid4()) 

    job = bigquery_client.load_table_from_storage(
     job_name, table, source) 

    job.source_format = 'NEWLINE_DELIMITED_JSON' 
    job.begin() 

    wait_for_job(job) 

    print('Loaded {} rows into {}:{}.'.format(
     job.output_rows, dataset_name, table_name)) 

あなたの関数ですが、これは例として機能します）。

また、このコードを実行するとテーブルが存在するはずです（Python APIでスキーマの自動検出を探しましたが、まだ存在しないようです）。