テーブル作成時のSpark Vectorに相当するハイブ

Question

私はVectorタイプの列の1つを持つSpark DataFrameを持っています。 私はそれの上にハイブテーブルを作成するときに、私はテーブルの作成が動作してOKを返すように見えることが

CREATE EXTERNAL TABLE mix (
     topicdist ARRAY<DOUBLE> 
    ) 
STORED AS PARQUET 
LOCATION 's3://path/to/file.parquet' 

に相当するタイプか分からないが、私は

select topicdist from mix limit 1 

をしようとすると、私が手

エラー：

Failed with exception java.io.IOException:java.lang.RuntimeException: Unknown hive type info array<double> when searching for field type 

Answer 1

Vectorがスパークユーザー定義型であり、それは内部

012として格納されています

StructType(Seq(
    StructField("type", ShortType, true), 
    StructField("size",IntegerType, true), 
    StructField("indices", ArrayType(IntegerType, true), true), 
    StructField("values",ArrayType(DoubleType, true), true) 
)) 

ますので、必要があります

CREATE EXTERNAL TABLE mix (
    topicdist struct<type:tinyint,size:int,indices:array<int>,values:array<double>> 
) 
STORED AS PARQUET 
LOCATION 's3://path/to/file.parquet' 

結果の列がスパークVectorに解釈されませんのでご注意ください。