Kubernetes EngineからCloud StorageからBigQueryへデータをアップロードする方法を教えてください。

Question

APIサーバがKubernetes Engine（GKE）で動作しています。ユーザーは、クライアントアプリケーションからクラウドストレージ（GCS）まで、比較的小さなデータセット（同じデータ構造を持つ複数の.csv〜100MB）をアップロードできます。アップロードが完了したら、すべての新しい.csvファイルからすべてのデータを既存のBigQueryテーブルにインポートする必要があります（ユーザーIDを持つ各行をマークするなど）。順序は関係ありません。

Googleドキュメントでは、GUIベースのソリューションとコマンドラインソリューションを提供しています。アップロードを開始し、GKEベースのサーバー自体から進行状況を追跡する方法はあると思いますが、それ、どうやったら出来るの？

これが重要かどうかわからない：GJAのapiサーバはNodeJSで書かれている。

Answer 1

次に、BigQuery documentationから取得したファイルをGCSにアップロードする例を示します。必要に応じてジョブを構成できます。そのページ上のいくつかの参照と追加機能を持つlink to the GitHub repoがあります：アップロードした後

// Imports the Google Cloud client libraries 
const BigQuery = require('@google-cloud/bigquery'); 
const Storage = require('@google-cloud/storage'); 

// The project ID to use, e.g. "your-project-id" 
// const projectId = "your-project-id"; 

// The ID of the dataset of the table into which data should be imported, e.g. "my_dataset" 
// const datasetId = "my_dataset"; 

// The ID of the table into which data should be imported, e.g. "my_table" 
// const tableId = "my_table"; 

// The name of the Google Cloud Storage bucket where the file is located, e.g. "my-bucket" 
// const bucketName = "my-bucket"; 

// The name of the file from which data should be imported, e.g. "file.csv" 
// const filename = "file.csv"; 

// Instantiates clients 
const bigquery = BigQuery({ 
    projectId: projectId 
}); 

const storage = Storage({ 
    projectId: projectId 
}); 

let job; 

// Imports data from a Google Cloud Storage file into the table 
bigquery 
    .dataset(datasetId) 
    .table(tableId) 
    .import(storage.bucket(bucketName).file(filename)) 
    .then((results) => { 
    job = results[0]; 
    console.log(`Job ${job.id} started.`); 

    // Wait for the job to finish 
    return job.promise(); 
    }) 
    .then((results) => { 
    // Get the job's status 
    return job.getMetadata(); 
    }).then((metadata) => { 
    // Check the job's status for errors 
    const errors = metadata[0].status.errors; 
    if (errors && errors.length > 0) { 
     throw errors; 
    } 
    }).then(() => { 
    console.log(`Job ${job.id} completed.`); 
    }) 
    .catch((err) => { 
    console.error('ERROR:', err); 
    }); 

は、することができます新たにアップロードされたCSVファイル（複数可）を照会し、所望の目的地表に結果を追加しrun a query。