Hiveクエリで使用されるマッパの数を計算して制御する

Question

104個のファイルを持つハイブテーブルt1があります。 104ファイルのうち1フ​​ァイルは61 MBで、残りの103ファイルは1 MB未満です。クエリを実行すると、1つの減速器とともにマッパーが実行されます。なぜ私は29マッパーとどのようにマッパーの数を減らすことができます把握しようとしている？

mapreduce.input.fileinputformat.split.maxsize=256MB 
mapreduce.input.fileinputformat.split.maxsize=1kb 

おかげ

Answer 1

オプションの下に使用してマッパーを設定してみてください

セットmapred.map.tasks = 20;

また、データのブロック全体を確認してください。

HDFS DFS -du -s -h /アプリ/ハイブ/倉庫//

各ブロックは独立して処理されます。各マッパーは、設定しているマッパー番号に基づいて複数のブロックで処理できます。