APIを使用してCSVファイルから既存のBigQueryテーブルにデータを追加できますか？

Question

Google Apps Scriptを使用して、BigQuery APIを使用してBigQueryテーブルにデータを追加しようとしています。追加するデータは現在CSV形式です。これまでのところ、stream data into BigQueryを使用してtabledata().insertAll()を使用することができますが、jsonフォーマットが必要なように見えます。私はそれが必要なことをするとは確信していません。これに私が欠けている簡単な解決策はありますか？私はBigQueryが追加をサポートしていることを知っていますが、私が見つけていることは、本当に新しいテーブルにデータを読み込むことに焦点を当てています。

EDIT： tabledata().insertAll()が実際に（うまくいけば）を使用する権利の方法であるような音。だから、代わりに私のファイルをjsonに変換しましたが、今は実際にどのように使用するかについては固執しています。私はreference page for itの中で何をしているのかを見極めようとしていますが、それはまだ私にとっては本当に混乱しています。現在、コードを実行したときにfetchコールが発生すると、404エラーが発生します。私はURLフェッチをしようとしている、多分それは私が物事をやっているとは思わない？私はAPIには本当に新しいので、私はまだ彼らがどのように動作するかを考えています。ここでは、これを引き起こしている私は現在、それを持っているコードです：

var tableId = 'users'; 
var file = DriveApp.getFileById(jsonId); 
//I don't know if a blob is the type that I want or not, but I'm trying it 
var data = file.getBlob(); 

var url = 'https://www.googleapis.com/bigquery/v2/projects/PROJECT_ID/datasets/DATASET_ID/tables/tableId/insertAll' 
.replace("PROJECT_ID", params.PROJECT_ID) 
.replace("DATASET_ID", params.DATASET_ID) 
.replace("tableId", tableId); 

var response = UrlFetchApp.fetch(url, { 
"kind": "bigquery#tableDataInsertAllRequest", 
"skipInvalidRows": 0, 
"ignoreUnknownValues": 0, 
"rows": [ 
    { 
    "json": data 
    } 
], 
headers: { 
    Authorization: 'Bearer ' + service.getAccessToken() 
} 
}); 


var result = JSON.parse(response.getContentText()); 
Logger.log(JSON.stringify(result, null, 2)); 

Answer 1

これはBQ JSONへのcsvファイルから最も直接的ではないが、それは私がBigQueryの側であなたを助ける必要があることを使用しているいくつかのコードです。

var PROJECT_ID = "xxx"; 
var DATASET_ID = "yyy"; 
function convertValuesToRows(data) { 
    var rows = []; 
    var headers = data[0]; 

    for (var i = 1, numColumns = data.length; i < numColumns; i++) { 
    var row = BigQuery.newTableDataInsertAllRequestRows(); 
    row.json = data[i].reduce(function(obj, value, index) { 
     obj[headers[index]] = value; 
     return obj 
    }, {}); 
    rows.push(row); 
    }; 
    return rows; 
} 

function bigqueryInsertData(data, tableName) { 
    var insertAllRequest = BigQuery.newTableDataInsertAllRequest(); 
    insertAllRequest.rows = convertValuesToRows(data); 
    var response = BigQuery.Tabledata.insertAll(insertAllRequest, PROJECT_ID, DATASET_ID, tableName); 
    if (response.insertErrors) { 
    Logger.log(response.insertErrors); 
    } 
} 

これは、例えば、（ヘッダ付き）文字列の2次元配列を取得し、BigQueryのが必要なフォーマットでそれをコードする（でgetValuesまたは実際Utilities.parseCsvから）

convertValuesToRowsを任意GASスタイル値行列を供給することができ

[["H1", "H2", "H3"], 
[1 , 2 , 3 ], 
[4 , 5 , 6 ]]; 

は

[{H1: 1, H2: 2, H3: 3}, 
{H1: 4, H2: 5, H3: 6}] 

が あなたが唯一のものとして第1の表現を心配する必要は

あなたはテーブルと一緒にbigQueryInsertDataに渡すものです キーと値のペアの形、すなわち、彼insertRows要求int型に追加されます（テーブルのスキーマはあなたが送信しているものと一致する必要があります）変換関数が内部から呼び出されます。

Utilities.parseCsvは、すでにあなたは基本的に適切なフォーマットにデータを得ることがcsvファイルを解析し、JSONでそれをコードするだけです、あなたはすでに方法を特定しbigQueryInsertData(Utilities.parseCsv(data.getDataAsString()), "myTable")