Spark AVRO with BigQuery

Question

私は、HiveとBigQueryで外部テーブルを作成しようとしていますが、AvroフォーマットでGoogle Storageに保存されているものと同じデータをSparkで書いています。

私はハイブを使用してテーブルを作成する場合がありアブロバージョン/パッケージ間の同じ違いはあるが、

をスパーク2.2.0とDataprocクラスタを使用して、スパーク・アブロ4.0.0および2.1.1ハイブだし、 Sparkを使ってファイルを書き、私はHiveでそれらを見ることができます。

BigQueryは異なるため、Hive Avroファイルは読み取ることができますが、Spark Avroファイルは読み取ることができません。

エラー：

The Apache Avro library failed to parse the header with the follwing error: Invalid namespace: .someField 

がエラーについて少し検索、問題は、Sparkアブロファイルはハイブ/ BigQueryのアブロファイルは異なっているということです。

私はこれを修正する方法を正確にはわかりませんが、おそらくSparkで異なるAvroパッケージを使用していますが、どのシステムがすべてのシステムと互換性があるかわかりません。また

ハイブに一時テーブルを作成し、別の私は多くのデータを書き込みますinsert into ... select * from ...を使用して作成し、私は解決策

すべてのヘルプは以下のようになり、この種のを避けたいように私はトリッキーなソリューションを避けたいです感謝。ありがとう

Answer 1

BigQueryが使用するC++ Avroライブラリによってエラーメッセージがスローされます。 HiveはおそらくJava Avroライブラリを使用します。 C++ライブラリは、 "。"で始まる名前空間を好きではありません。

これは、ライブラリからのコードです：あなたはこの答えを見つけた場合

if (! ns_.empty() && (ns_[0] == '.' || ns_[ns_.size() - 1] == '.' || std::find_if(ns_.begin(), ns_.end(), invalidChar1) != ns_.end())) { 
    throw Exception("Invalid namespace: " + ns_); 
} 

Answer 2

は疑問に思います。

私はbigqueryテーブルにデータをロードしようとしているのと同じことが起こります。ライブラリはまず、データをavro形式でGCSにロードします。スキーマにも構造体の配列があり、名前空間には.があります。