すべてのマッパーが完了したときにのみ、減速機（コピーフェーズ）を開始することができます

Question

かなり長いマップフェーズでハープ・ジョブがあり、他の短いジョブを優先して実行します。 これについては、hadoop job -set-priority job_idを使用して私の長い仕事の優先順位を低く設定しました。

私の長い仕事では、マップタスクの30％しか完了しなくても、レデューサーのコピーフェーズが始まるという問題があります。

すべての縮小スロットがLOW優先ジョブによって使用されるため、グリッドが一種のブリックになります。 他の小規模なジョブはマップフェーズを実行できますが、私の長年の仕事が終わるまで、彼らは決して減速機を手に入れません。

おかげさまで J.

Answer 1

私は自分自身に私の質問への答えを見つけた： 正確に仕事をして仕事confのパラメータがあります：

mapred.reduce.slowstart.completed.maps = 0.90

縮小タスクはマップの90％が完了したときにのみ開始されます。 デフォルト値は0.05です。