Spark Sql 1.5 dataframe saveAsTableハイブテーブルのプロパティを追加する方法

Question

spive sqlをハイブで実行しています。新しいハイブテーブルを作成するときにauto.purgeテーブルのプロパティを追加する必要があります。私はsaveAsTableメソッドの呼び出し中にオプションを追加するためのコードの下にしようとした：コードの線の上

inputDF.write.option("auto.purge" -> "true").saveAsTable(hiveTableName) 

は、テーブルのSERDEPROPERTIES WITH下プロパティを追加しました。 ハイブDDLのTBLPROPERTIESセクションにこのプロパティを追加する必要があります。

Answer 1

最後に私は解決策を見つけました。これが最善の解決策であるかどうかはわかりません。 残念ながら、Spark 1.5のsql saveAsTableメソッドは、入力としてテーブルプロパティをサポートしていません。ハイブテーブル作成の前に新しいtablePropertiesマップを作成しています。 コードの下にあるチェックアウト： https://github.com/apache/spark/blob/v1.5.0/sql/hive/src/main/scala/org/apache/spark/sql/hive/HiveMetastoreCatalog.scala

既存のハイブテーブルにテーブルプロパティを追加するには、alter tableコマンドを使用します。

ALTER TABLE table_name SET TBLPROPERTIES ('auto.purge'='true'); 

上記のコマンドは、ハイブのメタストアにテーブルプロパティを追加します。 dropコマンドの前に上記のコマンドを実行して、暗号化ゾーン内に既存のテーブルをドロップする。