Sparkコネクタ経由でAvroをBigQueryにロード

これらの例で見たように、Gson経由でしか実行できません。 Spark Connectorを介してAvroオブジェクトをBigQueryテーブルに直接ロードすることは可能ですか？ AvroからBigQueryへの変換avroの仕様が単純なプリミティブ値を超え始めると、Jsonは苦痛になります。（例えば労働組合）Sparkコネクタ経由でAvroをBigQueryにロード

乾杯スパークコネクタを介して

出典

2016-05-24 J.Fratzke

ないが、BigQueryに直接AVROファイルをロードサポートしています。https://cloud.google.com/bigquery/loading-data#loading_avro_files

出典

2016-05-25 02:04:48

おかげで、私はこれが動作すると思います。しかし、GoogleではAvro C++ライブラリを使用しているため、すでに動作しているように見えることがあります。これがどこに文書化されているか分かりますか？私の列のほとんどは、いくつかの共用体を持つプリミティブ型です。私はまた、スナッピー圧縮形式を使用しています。 –

実行中の警告はわかりませんが、一般にプリミティブ型とスナッピー圧縮はすべてサポートされています。具体的な問題については、https：//code.google.com/p/google-bigquery/ –

でバグを報告することをお勧めします。すべてのAvroデータタイプはC++ライブラリとBQでサポートされています（一部のコンバージョン、バイトまで）。スナッピーを使用して圧縮されたデータブロックはサポートされていません。 Deflateは、C++ライブラリでサポートされている唯一のコーデックです。 –

Sparkコネクタ経由でAvroをBigQueryにロード

答えて

関連する問題