bluemixのspark-submitジョブのログ出力を増やすにはどうすればよいですか？

Question

サービスとしてbluemix sparkにpythonジョブを送信しましたが、失敗しました。残念ながら、ロギングは不十分で、なぜ失敗したのかという手がかりを与えません。

どのようにログレベルの出力を増やすことができますか？サービスとしてのスパークから

出力：

==== Failed Status output ===================================================== 

Getting status 
HTTP/1.1 200 OK 
Server: nginx/1.8.0 
Date: Thu, 12 May 2016 19:09:30 GMT 
Content-Type: application/json;charset=utf-8 
Content-Length: 850 
Connection: keep-alive 

{ 
    "action" : "SubmissionStatusResponse", 
    "driverState" : "ERROR", 
    "message" : "Exception from the cluster: 
org.apache.spark.SparkUserAppException: User application exited with 255 
    org.apache.spark.deploy.PythonRunner$.main(PythonRunner.scala:88) 
    org.apache.spark.deploy.PythonRunner.main(PythonRunner.scala) 
    sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
    sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:95) 
    sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:55) 
    java.lang.reflect.Method.invoke(Method.java:507) 
    org.apache.spark.deploy.ego.EGOClusterDriverWrapper$$anon$3.run(EGOClusterDriverWrapper.scala:430)", 
    "serverSparkVersion" : "1.6.0", 
    "submissionId" : "xxxxxx", 
    "success" : true 
} 
=============================================================================== 

私はBigInsightsクラスターに対して首尾よく同じジョブを実行しました。また、biginsightsクラスタ上で実行すると、より冗長な出力が得られます。

Answer 1

stderr-%timestamp%とstdout-%timestamp%のファイルがクラスタからローカルディレクトリにダウンロードされました。ここではspark-submit.shを実行しました。 通常、これらの2つのファイルにジョブの問題があります。

参考：http://spark.apache.org/docs/latest/spark-standalone.html#monitoring-and-logging