2017-03-22 9 views
0

Google Cloud Storage(csvおよびjson)にアップロードされたファイルがあります。BigqueryはGoogleクラウドストレージへのテーブル(ネイティブまたは外部)を作成します

私はGoogleのクラウドストレージで、これらのファイルへのリンク、ネイティブまたは外部のBigQueryテーブルを作成することができます。 BigQueryのテーブルを作成する過程で

、私は「スキーマを自動的に検出する」チェックすることができます。

「スキーマは自動的に検出」jsonの改行区切り形式のファイルでうまく動作します。しかし、csvファイルでは、最初の行は「列名」、bigqueryは「スキーマが自動的に検出」できないので、最初の行がデータとして扱われ、作成されたスキーマbigqueryはstring_field_1、string_field_2などとなります。

私はBigQueryのは、「スキーマが自動的に検出」を作る私のcsvファイルのために行うために必要なものはあり作品です

私はcsvファイルは、「Microsoft Excelのカンマ区切り値ファイル」

更新です:?。

最初の列が空の場合、BigQueryのオートデスクetectは、ヘッダー

custom id,asset id,related isrc,iswc,title,hfa song code,writers,match policy,publisher name,sync ownership share,sync ownership territory,sync ownership restriction 
,A123,,,Medley of very old Viennese songs,,,,,,, 
,A234,,,Suite de pièces No. 3 en Ré Mineur HWV 428 - Allemande,,,,,,, 

を検出しません。しかし、最初の列が空でない場合 - それはOKです:

custom id,asset id,related isrc,iswc,title,hfa song code,writers,match policy,publisher name,sync ownership share,sync ownership territory,sync ownership restriction 
1,A123,,,Medley of very old Viennese songs,,,,,,, 
2,A234,,,Suite de pièces No. 3 en Ré Mineur HWV 428 - Allemande,,,,,,, 

それはBigQueryのための機能改善要望べきか?

答えて

1

CSVの自動検出は、CSVファイルのヘッダー行を検出し、そのデータについて特別な何かがなければなりません。実際のデータスニペットと実際に使用したコマンドを提供することができればうれしいでしょう。ここではそれがどのように動作するかを示して私の例である:

~$ cat > /tmp/people.csv 
Id,Name,DOB 
1,Bill Gates,1955-10-28 
2,Larry Page,1973-03-26 
3,Mark Zuckerberg,1984-05-14 
~$ bq load --source_format=CSV --autodetect dataset.people /tmp/people.csv 
Upload complete. 
Waiting on bqjob_r33dc9ca5653c4312_0000015af95f6209_1 ... (2s) Current status: DONE 
~$ bq show dataset.people 
Table project:dataset.people 

    Last modified  Schema  Total Rows Total Bytes Expiration Labels 
----------------- ----------------- ------------ ------------- ------------ -------- 
    22 Mar 21:14:27 |- Id: integer 3   89         
        |- Name: string             
        |- DOB: date        
+0

私はいくつかのcsvファイルを試しました。彼らは働いている。それはcsvファイル自体と関係があります。 – searain

+0

このCSVファイルを共有することができれば、本当に役に立ちます。 –

0
custom id,asset id,related isrc,iswc,title,hfa song code,writers,match policy,publisher name,sync ownership share,sync ownership territory,sync ownership restriction 
,A123,,,Medley of very old Viennese songs,,,,,,, 
,A234,,,Suite de pièces No. 3 en Ré Mineur HWV 428 - Allemande,,,,,,, 

最初の列が空の場合は、Google BigQueryは、スキーマを検出することはできません。

custom id,asset id,related isrc,iswc,title,hfa song code,writers,match policy,publisher name,sync ownership share,sync ownership territory,sync ownership restriction 
1,A123,,,Medley of very old Viennese songs,,,,,,, 
2,A234,,,Suite de pièces No. 3 en Ré Mineur HWV 428 - Allemande,,,,,,, 

最初の列に値を追加すると、Google BigQueryがスキーマを検出できます。

BigQueryの機能改善リクエストですか?

+0

はい、問題追跡ツールのBigQueryの機能強化としてhttps://issuetracker.google.com/savedsearches/559654に登録してください –

関連する問題