ハープ・ストリーミング・ジョブの報告に失敗しましたか？

Question

すべてのジョブが正常にHadoopストリーミングを使用して実行していたが、私が原因ワーカーマシンの1

Hadoop job_201110302152_0002 failures on master 

Attempt Task Machine State Error Logs 
attempt_201110302152_0002_m_000037_0 task_201110302152_0002_m_000037 worker2 FAILED 
Task attempt_201110302152_0002_m_000037_0 failed to report status for 622 seconds. Killing! 
------- 
Task attempt_201110302152_0002_m_000037_0 failed to report status for 601 seconds. Killing! 
Last 4KB 
Last 8KB 
All 

質問にエラーを表示するために始めた突然のすべて：

- Why does this happening ? 
- How can I handle such issues? 

はあなた

ありがとう

Answer 1

mapred.task.timeoutの説明は、デフォルトで600sです。「inpuを読み取らないとタスクが終了するまでのミリ秒数出力を書き込み、状態文字列を更新しません。 "

mapred.task.timeoutの値を大きくすると問題は解決する可能性がありますが、マップタスクが入力データの処理を完了するために600秒以上が実際に必要かどうかを判断する必要があります。デバッグする必要のあるコード。

Hadoopのベストプラクティスによると、平均的にマップタスクは分を取る必要がありますかそこらInputSplitを処理する。