2016-08-11 12 views
0

Amazon EC2のLinux RHEL 7.2インスタンスにCloudera 5.8をインストールしました。私はSSHでログインしていると私は、次のコマンドでのMapReduceの動作をテストするためWORDCOUNT例を実行しようとしています:Clouderaでワードカウントが実行されていません

hadoop jar /opt/cloudera/parcels/CDH-5.8.0-1.cdh5.8.0.p0.42/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar wordcount archivo.txt output 

問題はWORDCOUNTプログラムがブロックされ、それがない出力を生成することです。次のメッセージのみが表示されます。

16/08/11 13:10:02 INFO client.RMProxy: Connecting to ResourceManager at ip-172-31-22-226.ec2.internal/172.31.22.226:8032 

16/08/11 13:10:03 INFO input.FileInputFormat: Total input paths to process : 1 

16/08/11 13:10:03 INFO mapreduce.JobSubmitter: number of splits:1 

16/08/11 13:10:04 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1470929244097_0007 

16/08/11 13:10:04 INFO impl.YarnClientImpl: Submitted application application_1470929244097_0007 

16/08/11 13:10:04 INFO mapreduce.Job: The url to track the job: http://ip-172-31-22-226.ec2.internal:8088/proxy/application_1470929244097_0007/ 

16/08/11 13:10:04 INFO mapreduce.Job: Running job: job_1470929244097_0007 

「実行中のジョブ」からブロックされます。この後、Ctrl + Cキーを押してブロックを解除する必要があり、出力が生成されません。

なぜ知っているのですか?おそらく設定上の問題だと思うし、DataNodesなどが新しくなっている。

ありがとうございます。

答えて

0

リソース(マップまたはレデューサースロット)がないように見えますが、ジョブはリソースを待機しています。あなたは仕事の状況を確認することができます。

http://ip-172-31-22-226.ec2.internal:8088 
+0

このURLを参照するには、EC2ダッシュボードのセキュリティグループを8088ポートを許可するように変更する必要がありました。そのページの結果は、保留中のアプリが4つありますが、0個のアプリが実行中で、0件が完了しています。それはなぜでしょうか? – digito

+0

予想されるジョブがリソースを待っているので...リソースマネージャのログを確認してください。 – vgunnu

+0

ありがとうございました。 Googleでは、リソースマネージャのログの場所を見つけることができません。私は完了したジョブ(ヤーンログ-applicationId applicationId)のコマンドを見つけましたが、アイドルジョブのためには働いていません...あなたはログをどこで見ますか? – digito

関連する問題