APIを使用してBigQueryテーブルのスキーマ定義にコメントを指定することはできますか？ HadoopのコネクタBigQueryスキーマ定義に列の説明を追加する
[{"name" : "event_id", "type" : "integer"},{ "name" : "categorization" , "type" : "string" }]
を経由してBigQueryのテーブルを作成するときに
は、私は次のスキーマを使用して、私が望む何か
[{"name" : "event_id", "type" : "integer", "description" : "The event identifier"},{ "name" : "categorization" , "type" : "string" }]
EDITのように：私はちょうど火花コネクタでこれを試してみたが、それは動作しません。コンテキスト
のためのいくつかのコードを追加しましたはい、テーブルのフィールドは、独自の記述を持つことができます。説明はまだ
BigQueryConfiguration.configureBigQueryOutput(
bqConfiguration, projectId, bqDatasetId, bqTable, schema)
bqConfiguration.set(
"mapreduce.job.outputformat.class",
classOf[BigQueryOutputFormat[_,_]].getName)
new JavaPairRDD(rdd.map((null, _))).saveAsNewAPIHadoopDataset(bqConfiguration)
}
空DOUBLE EDITあります。説明とともに投稿したスキーマは、APIに送信されたときに機能するはずです。あなたがTables: insert APIのいずれかのテーブルの作成時にこれを行うことができたり、Table Resourcesで使用する各パラメータを参照してください
Tables: patch APIを使用して、既存のテーブルに追加することができます正確に何のBigQueryは
をご提供している
https://cloud.google.com/bigquery/docs/reference/v2/tables#schema.fields.description
テーブル全体と各フィールドの説明があります
Spark Connectorで試してみましたが、動作しません。私のスキーマには説明がありますが、列の説明には表示されません。 –