レデューサーはマッパーコアを取る

Question

私は、60のレデューサーで88コアのハープループクラスターでmapreduceジョブを実行しています。何らかの理由で79クラスタのクラスタしか使用しません。開始時には79個のマッパーで実行されますが、ハーフスプリットが行われると53個のマッパーと26個のリデューサーが使用され、実行中のマッパーの数は後で縮小し続け、ジョブの完了時間が長くなります。ログには、計算されたデータをコピーするこれらの26種類 ハイドロップを最初にすべてのマッパーを実行させることは可能ですか？ sparkやtezのジョブのように、マッピングのためにすべてのコアを使用しています。その後、すべてのコアを減らすために使用しています。

Answer 1

mapreduce.job.reduce.slowstart.completedmapsを1.0に設定します。引用mapred-default.xmlから：完全でなければならない仕事でのマップの数の

mapreduce.job.reduce.slowstart.completedmaps

0.05

フラクションは前削減の仕事のために予定されています。