Spark 2.x saveAsTable

Question

Spark 2.1.0 Java APIを使用して、DataFrame（行のデータセット）をHiveテーブルとして保持しようとしています。私はDataFrameWriterクラスのsaveAsTableメソッドを使ってみました。 df.write(appendMode).saveAsTable("tablename");

私は

org.apache.spark.sql.AnalysisExceptionことを知らせるAnalysisException取得：私のハイブserdeでセーブデータが テーブルはまだサポートされていませんが

私のコードは次のようになります。 代替

私は本当にsaveAsTableメソッドを使用することはできませんようinsertInto() APIを使用してください？ apiのドキュメントで非推奨とマークされていません。

Answer 1

データを追加しようとしているテーブル「tablename」が"Hive serde"で作成されているため、テーブルtablenameのデータがテキストファイルとして保存されるためです。

org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe serdeを使用してparquet形式でデータを書き込む、saveAsTable Apiを使用しています。だから、スパークAPIは、テキストで寄せ木細工のデータを追加することはできません、その理由は例外です。

解決策：事前にテーブルを作成しないでください。 "saveAsTable" Apiは、データフレームのスキーマと最初に必要なプロパティを使用してテーブル自体を作成してから、データを追加し続けます。

テーブルを自分で作成する必要がある場合は、テーブルがパーケットとして適切にTBLPROPERTIESに格納されていることを確認する必要があります。例えば：

CREATE TABLE `savetest`(
    `channel` string, 
    `address` string, 
    `curr_date` string) 
ROW FORMAT SERDE 
    'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe' 
STORED AS INPUTFORMAT 
    'org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat' 
OUTPUTFORMAT 
    'org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat' 
TBLPROPERTIES (
    'COLUMN_STATS_ACCURATE'='false', 
    'numFiles'='2', 
    'numRows'='-1', 
    'rawDataSize'='-1', 
    'spark.sql.sources.provider'='parquet', 
    'spark.sql.sources.schema.numParts'='1', 
    'spark.sql.sources.schema.part.0'='{\"type\":\"struct\",\"fields\":[{\"name\":\"channel\",\"type\":\"string\",\"nullable\":true,\"metadata\":{}},{\"name\":\"address\",\"type\":\"string\",\"nullable\":true,\"metadata\":{}},{\"name\":\"curr_date\",\"type\":\"string\",\"nullable\":true,\"metadata\":{}}]}' 
)