Hadoop Job：タスクがステータスを601秒間報告できない

Question

pseudoodeでhadoopジョブを実行しているときに、タスクが失敗し、終了しました。 エラー：タスクの試行がステータスを601秒間報告できない

同じプログラムがEclipse（ローカルジョブ）で実行されています。

タスク：周り25Kのキーワードがあり、出力が問題になる可能性がどのような25K * 25Kのentires

の周りのすべての可能な組み合わせ（一度に2つ）すなわちでしょうか？

Answer 1

あなたの疑似ノードで実行されたときに何らかの理由でタスクが進行していません。 mapred-site.xmlで "mapred.task.timeout"の設定を増やすことができます。 mapred-default.xmlの中に同じの デフォルト値は次のとおりです。テスト目的のために

<property> 
    <name>mapred.task.timeout</name> 
    <value>600000</value> 
    <description>The number of milliseconds before a task will be 
       terminated if it neither reads an input, writes 
       an output, nor updates its status string. 
    </description> 
</property> 

Answer 2

/1時間の仕事やタイムアウト値の増加分をデバッグするには良いオプションかもしれないが、実際には、このことを示して生産のための良い解決策ではないので、コードを見直して最適化する必要があります。

Answer 3

Hadoop同じもののレポートAPIを提供します。 600秒の10分間のhadoopジョブに進行状況を報告しない場合、タスクは固執しているとみなされ、タスクが強制終了されます。 APIリファレンスはHere

です