ハイブからの単一ファイル出力

Question

私はAzure Blobにファイルを保存するためにSerDeを使用するハイブテーブルを持っています。

field 1 int, 
field 2 string, 
field 3 struct 
ROW FORMAT SERDE 
    'org.apache.hive.hcatalog.data.JsonSerDe' 
STORED AS INPUTFORMAT 
    'org.apache.hadoop.mapred.TextInputFormat' 
OUTPUTFORMAT 
    'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat' 

私はテーブルに5000件のレコードを挿入すると、出力はAzureストレージ上の5000個の塊で構成され、それぞれに複数のレコードをブロブの数を削減しても、単一のブロブとして出力を保存したりする方法があります？

Answer 1

HiveIgnoreKeyTextOutputFormatによって、HDFSファイルを書き込むための無視キー機能が原因と考えられます。 HiveBinaryOutputFormatなどの他の出力形式を指定してください。