Hiveの「order by」句でレデューサーの数を確認するには、

私は2.6 MBのサイズのCSVファイルを持っています。私はハイブテーブルを作成し、それにcsvファイルをロードしました。私はのようにクエリを記述する場合Hiveの「order by」句でレデューサーの数を確認するには、

さて、「によってABC順から選択*;」、mapreduceは1レデューサーを使用しました。減速機の数はどのようにして1と特定されましたか？それはデフォルト値 "1"か何か他のものを使用しましたか？一般的に

、どのハイブは、「GROUP BY」節、「並べ替え」または「順」で使用するためにどのように多くの減速を決めるのですか？

2016-04-27 earl

これは、データサイズになると、デフォルトではそのこのプロパティによって規制、1ギガバイトあたり1：

mapred.reduce.tasks

全リスト：あなたはより多くの減速はこれでそれを設定したい場合は

hive.exec.reducers.bytes.per.reducer

説明付きの設定はhereです。ハイブでの減速の

2016-04-27 14:23:09

数は1ギガバイト（1000000000バイト）は、それはデフォルト値ですですプロパティを使用して計算されます。上記のプロパティを変更して、リデューサーの数を設定できます。また、あなたはプロパティでの仕事のために減速の一定の数を設定する必要がmapred.reduce.tasks

//ハイブ-site.xmlの

<property> 
    <name>hive.exec.reducers.bytes.per.reducer</name> 
    <value>xxxxxxx</value> 
</property>

//コンソール

$ hive -e "set hive.exec.reducers.bytes.per.reducer=xxxxxxx"

2016-04-27 14:42:54

答えて