PIGスクリプト：保留中のマップ試行の空き領域を削減しようとしました

Question

異なるパラメータで同じPIGスクリプトの複数のインスタンスを実行しています。

Reducer preempted to make room for pending map attempts Container killed 
by the ApplicationMaster. Container killed on request. Exit code is 143 
Container exited with a non-zero exit code 143 

スクリプトの実行時間を最小限に抑えるために、このようなプリエンプションの問題を回避する方法：クラスタの負荷が大きい場合には、地図ジョブのログを削減

は時間がかかる先取り減速の多くを、示して？

Answer 1

thisリンクをご覧ください。要するに

、あなたは以下のいずれかを使用することができます（後者には2.4.1+ Hadoopのためである）あなたのHadoopのバージョンに応じて

SET mapred.reduce.slowstart.completed.maps 1.00; 
SET mapreduce.job.reduce.slowstart.completedmaps 1.00; 

を指令します。すべてのマッパーが芸術をやり遂げると、レデューサーが始まります。