2011-12-08 2 views
2

私はMRで新しくなっていますが、これは起こるはずがないようです。これは出力されます:地図は100%になってから0%になりますか?

11/12/07 13:24:42 INFO mapred.JobClient: Running job: job_201112071322_0001 
11/12/07 13:24:43 INFO mapred.JobClient: map 0% reduce 0% 
11/12/07 13:24:57 INFO mapred.JobClient: map 100% reduce 0% 
11/12/07 13:41:48 INFO mapred.JobClient: map 100% reduce 16% 
11/12/07 13:42:18 INFO mapred.JobClient: map 100% reduce 33% 
11/12/07 13:59:53 INFO mapred.JobClient: map 100% reduce 0% 
11/12/07 14:00:04 INFO mapred.JobClient: map 50% reduce 0% 
11/12/07 14:00:24 INFO mapred.JobClient: map 0% reduce 0% 

時刻に注意してください。それだけでそこに座って、完了しない、またはエラー。私はエラーが減速機にあると思いますので、それを含めました。他のコードが疑わしいなら、私はそれを掲示します、ただ尋ねる。

コード:http://pastebin.com/uuL1Cgx4

大歓迎任意のヘルプ!

+0

レデューサーのログを調べますか? –

+0

ジョブトラッカーのログを提供できますか? –

答えて

2

私は数日前に同様の問題を抱えています。私のマッパーは100%に到達した後、0%に下がります。

最後に、マップ出力のデータ型定義と入力の削減が異なることがわかりました。そのため、hadoop JobTrackerが再試行しても、mapとreduceの間のコピー/シャッフル/マージデータフローオプションは機能しません。

ご希望の方にお勧めします。

関連する問題