0
Amazon EC2のLinux RHEL 7.2インスタンスにCloudera 5.8をインストールしました。私はSSHでログインしていると私は、次のコマンドでのMapReduceの動作をテストするためWORDCOUNT例を実行しようとしています:Clouderaでワードカウントが実行されていません
hadoop jar /opt/cloudera/parcels/CDH-5.8.0-1.cdh5.8.0.p0.42/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar wordcount archivo.txt output
問題はWORDCOUNTプログラムがブロックされ、それがない出力を生成することです。次のメッセージのみが表示されます。
16/08/11 13:10:02 INFO client.RMProxy: Connecting to ResourceManager at ip-172-31-22-226.ec2.internal/172.31.22.226:8032
16/08/11 13:10:03 INFO input.FileInputFormat: Total input paths to process : 1
16/08/11 13:10:03 INFO mapreduce.JobSubmitter: number of splits:1
16/08/11 13:10:04 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1470929244097_0007
16/08/11 13:10:04 INFO impl.YarnClientImpl: Submitted application application_1470929244097_0007
16/08/11 13:10:04 INFO mapreduce.Job: The url to track the job: http://ip-172-31-22-226.ec2.internal:8088/proxy/application_1470929244097_0007/
16/08/11 13:10:04 INFO mapreduce.Job: Running job: job_1470929244097_0007
「実行中のジョブ」からブロックされます。この後、Ctrl + Cキーを押してブロックを解除する必要があり、出力が生成されません。
なぜ知っているのですか?おそらく設定上の問題だと思うし、DataNodesなどが新しくなっている。
ありがとうございます。
このURLを参照するには、EC2ダッシュボードのセキュリティグループを8088ポートを許可するように変更する必要がありました。そのページの結果は、保留中のアプリが4つありますが、0個のアプリが実行中で、0件が完了しています。それはなぜでしょうか? – digito
予想されるジョブがリソースを待っているので...リソースマネージャのログを確認してください。 – vgunnu
ありがとうございました。 Googleでは、リソースマネージャのログの場所を見つけることができません。私は完了したジョブ(ヤーンログ-applicationId applicationId)のコマンドを見つけましたが、アイドルジョブのためには働いていません...あなたはログをどこで見ますか? – digito