2012-05-11 18 views
3

Google BigQueryがネイティブJSONサポートを実装する計画はありますか?BigQueryのネイティブJSONサポートですか?

ハイブデータ(〜20T)をGoogle BigQuery、 に移行することを検討していますが、ハイブのテーブル定義にはBigQueryではサポートされていないマップタイプが含まれています。

は、例えば、下記HiveQL:

select gid, payload['src'] from data_repository; 

ものの、それは正規表現を使用することで回避することができます。

+0

ジャストヘッドアップ、我々はJSONデータ摂取のためにサポートするために始めた、とエクスポート形式として(参照:googledevelopers.blogspot.com /2012/10/got-big-json-bigquery-expands-data.html) –

答えて

0

あなたのベスト・ベットは、インポートする前にすべてのタイプをcsvに強制することです。複雑なフィールドがある場合は、クエリの正規表現を使用して分解してください(推奨)。

つまり、私たちは積極的に新しい入力フォーマットのサポートを調査しており、どのフォーマットが最も有用かというフィードバックに興味があります。基になるクエリエンジン(Dremel)では、ハイブマップタイプと似たタイプがサポートされていますが、BigQueryは現在、ネストされたレコードを取り込むためのメカニズムを公開していません。

3

2012年10月1日現在、BigQueryは、改行で区切られたJSONをインポートおよびエクスポート用にサポートしています。

ブログ記事:データ形式にhttp://googledevelopers.blogspot.com/2012/10/got-big-json-bigquery-expands-data.html

ドキュメント:https://developers.google.com/bigquery/docs/import#dataformats

+0

しかし、今日のところ、 '[*]'のような基本的なJSONパス操作はありません:http://stackoverflow.com/questions/ 28719880/bigquery-jsonpath-json-arrayの値 –

関連する問題