AWS-EMR：ログファイルはどこにありますか？

Question

私はEMRを使用して糸を通してスパークジョブを実行しています。ジョブは失敗しましたが、EMRが例外を記録する場所を見つけることができません。以下のようにマスターノードの画面出力でトレースバックが表示されます。例外の原因を示す詳細なログファイルがあるはずですが、どこにあるのかわかりません。私はhdfs：// var/log/spark/app/application_xxxを調べましたが、エラーは表示されません。ここで私は申請書を提出する方法である：ここでは

spark-submit --deploy-mode cluster --master yarn --num-executors 1 --executor-cores 2 --executor-memory 5g word2vec_app.py hdfs:///test/r8_no_sto.txt 

は、マスターノード上の画面出力です：

Exception in thread "main" org.apache.spark.SparkException: Application application_1488419676573_0005 finished with failed status 
    at org.apache.spark.deploy.yarn.Client.run(Client.scala:1167) 
    at org.apache.spark.deploy.yarn.Client$.main(Client.scala:1213) 
    at org.apache.spark.deploy.yarn.Client.main(Client.scala) 
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) 
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 
    at java.lang.reflect.Method.invoke(Method.java:498) 
    at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:738) 
    at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:187) 
    at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:212) 
    at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:126) 
    at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala) 

Answer 1

ノードのstdout/stderrは/ mnt/var/log/hadoop-yarn/containers /にあります。各ノードのアプリケーション。

Answer 2

あなたのS3のフォルダがあります。 EMRの設定中は、ログディレクトリを設定するオプションがあると思います。パスはs3：// aws-logs- [ACCOUNT_NUMBER] - [AVAILABILITY_ZONE]/elasticma preduce/