BigQueryとHadoopコネクタはフェデレーテッド・テーブルで機能しますか？

Question

私は上の例を次のようだ：https://cloud.google.com/hadoop/examples/bigquery-connector-spark-example

私はBigQueryの上で連合テーブルを持っています。これでデータを引き出すことができるでしょうか？

Answer 1

BigQueryコネクタには現在フェデレーションテーブルを処理する特別なロジックがないため、別のGCSの場所に「エクスポート」しようとすると正しく動作しません。この機能を追跡するためにGitHub issueを提出しました。その間、フェデレーションされたデータが実際にGCSに存在する場合でも、通常のFileInputFormat（またはsc.textFile）として直接アクセスできる必要があります。スキーマ/メタデータのBigQueryのメリットは失われます。