マルチノードでストリームジョブを実行中の "Child Error" Hadoopクラスタ（clouderaディストリビューションCDH3u0 Hadoop 0.20.2）

Question

8ノードのHadoopクラスタで作業していますが、指定された設定で単純なストリーミングジョブを実行しようとしています。

hadoop jar /usr/lib/hadoop-0.20/contrib/streaming/hadoop-streaming-0.20.2-cdh3u0.jar \-D mapred.map.max.tacker.failures=10 \-D mared.map.max.attempts=8 \-D mapred.skip.attempts.to.start.skipping=8 \-D mapred.skip.map.max.skip.records=8 \-D mapred.skip.mode.enabled=true \-D mapred.max.map.failures.percent=5 \-input /user/hdfs/ABC/ \-output "/user/hdfs/output1/" \-mapper "perl -e 'while (<>) { chomp; print; }; exit;" \-reducer "perl -e 'while (<>) { ~s/LR\>/LR\>\n/g; print ; }; exit;" 

私はHadoopの0.20.2でのHadoop CDH3u0ためのClouderaののディストリビューションを使用しています。このジョブの実行における問題は、ジョブが毎回失敗するということです。私は次のことをチェックして、エラーの原因について

java.lang.Throwable: Child Error 
    at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:242) 
Caused by: java.io.IOException: Task process exit with nonzero status of 1. 
    at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:229) 

------- 
java.lang.Throwable: Child Error 
    at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:242) 
Caused by: java.io.IOException: Task process exit with nonzero status of 1. 
    at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:229) 

STDERR on the datanodes: 
    Exception in thread "main" java.io.IOException: Exception reading file:/mnt/hdfs/06/local/taskTracker/hdfs/jobcache/job_201107141446_0001/jobToken 
    at org.apache.hadoop.security.Credentials.readTokenStorageFile(Credentials.java:146) 
    at org.apache.hadoop.mapreduce.security.TokenCache.loadTokens(TokenCache.java:159) 
    at org.apache.hadoop.mapred.Child.main(Child.java:107) 
Caused by: java.io.FileNotFoundException: File file:/mnt/hdfs/06/local/taskTracker/hdfs/jobcache/job_201107141446_0001/jobToken does not exist. 

、まだそれは私が理由を理解することができませんそのためにクラッシュさ：ジョブはエラーを与えています。

1. All the temp directories are in place 
2. Memory is way more than it might be required for job (running a small job) 
3. Permissions verified. 
4. Nothing Fancier done in the configuration just usual stuff. 

最も奇妙なことは、ジョブがいつか正常に実行し、ほとんどの時間を失敗したということです。問題に関するガイダンスやヘルプは本当に役に立ちます。私は過去4日間このエラーに取り組んでおり、何かを把握することはできません。助けてください！！！

おかげ&よろしく、 アトゥール

Answer 1

私は同じ問題に直面しているタスクトラッカーは、タスクの子JVMに指定されたメモリを割り当てることができない場合は、それが起こります。

クラスタがビジー状態でないときに同じジョブをもう一度実行すると、他の多くのジョブがこのジョブと共に実行されます。実行されるか、または投機実行がtrueになります。その場合、hadoopは別のタスクトラッカーで同じタスクを実行します。