地図の縮小ジョブが地図に詰まる0％減少0％

Question

私は有名なワードカウントの例を実行しています。私はローカルでプロダクションのセットアップをしています。同じ例がprodで動作していますが、ローカルでは動作しません。誰かが私に何を探すべきか教えてもらえますか？ ジョブが停止しています。タスクログは次のとおりです。

~/tmp$ hadoop jar wordcount.jar WordCount /testhistory /outputtest/test 
Warning: $HADOOP_HOME is deprecated. 

13/08/29 16:12:34 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same. 
13/08/29 16:12:35 INFO input.FileInputFormat: Total input paths to process : 3 
13/08/29 16:12:35 INFO util.NativeCodeLoader: Loaded the native-hadoop library 
13/08/29 16:12:35 WARN snappy.LoadSnappy: Snappy native library not loaded 
13/08/29 16:12:35 INFO mapred.JobClient: Running job: job_201308291153_0015 
13/08/29 16:12:36 INFO mapred.JobClient: map 0% reduce 0% 

擬似分散モードとして実行中のローカルhadoop。 namenode、datanode、jobtrackerの3つのプロセスがすべて実行されています。追加情報が必要な場合はお知らせください。

Answer 1

タスクトラッカーが見つからないようです。

試してみてください。この問題は、メモリの問題に関連している可能性がHad​​oopの2.xでは

hadoop tasktracker & 

Answer 2

は、あなたがMapReduce in Hadoop 2.2.0 not working

Answer 3

でそれを見ることができ、私は同じ問題を抱えていたし、このページには、私を助け： http://www.alexjf.net/blog/distributed-systems/hadoop-yarn-installation-definitive-guide/

基本的に私は次の3つの手順で問題を解決しました。実際には、私が実際に持っているより多くのメモリを構成しなければならなかったということです。

1）糸site.xmlの

• yarn.resourcemanager.hostname = hostname_of_the_master
• yarn.nodemanager.resource.memory-MB = 4000
• yarn.nodemanager.resource.cpu-vcores = 2
• yarn.scheduler.minimum割り当て-MB = 4000

2）mapred-site.xmlの

• yarn.app.mapreduce.am.resource.mb = 4000
• yarn.app.mapreduce.am.command-OPTS = -Xmx3768m
• mapreduce.map.cpu.vcores = 2
• mapreduce.reduce.cpu.vcores = 2

3）hadoop tasktracker &やその他の問題を除いて、すべてのノード

Answer 4

間でこれらのファイルを送信します。コードを確認し、infinite loopやその他のバグがないことを確認してください。たぶんあなたのコードにいくつかのバグがあります！

Answer 5

Hiveクエリを使用しているときにこの問題が発生する場合は、パーティションを活用せずに非常に大きな2つのテーブルを結合するかどうかを確認します。パーティションを使用しないと、フルテーブルスキャンを長時間実行することがあり、したがってマップ0％を0％減少させることがあります。