ハイブSQLを使用してcsvにデータをエクスポート

Question

ハイブテーブル/選択クエリをcsvにエクスポートするにはどうすればよいですか？私は以下のコマンドを試しました。しかし、それは複数のファイルとして出力を作成します。より良い方法はありますか？

INSERT OVERWRITE LOCAL DIRECTORY '/mapr/mapr011/user/output/' 
        ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' 
SELECT fied1,field2,field3 FROM table1 

Answer 1

ハイブは、実行中のレデューサーの数だけ作成します。これは完全に平行です。 あなたは、単一のファイルが単一の減速で実行されている力や減速の設定パラメータあたりのバイト数を増加しようとするorder byを追加したい場合は、次の

SELECT fied1,field2,field3 FROM table1 order by fied1 

OR

set hive.exec.reducers.bytes.per.reducer=67108864; --increase accordingly 

をまた、あなたはファイルをマージしようとすることができます。

set hive.merge.smallfiles.avgsize=500000000; 
set hive.merge.size.per.task=500000000; 
set hive.merge.mapredfiles=true; 

また、hadoopからファイルを取得した後にcatを使用してファイルを連結することもできます。