Bluemix Spark：stderrとstdoutをダウンロードするとspark-submitが失敗しますか？

Question

私はIBM BluemixでSparkサービスを使用しています。私は、spark-submit.shスクリプトを使用してSparkプロセスを実行するためのJavaコードを起動しようとしています。

私のコマンドラインは次のとおりです。

./spark-submit.sh --vcap ./VCAP.json --deploy-mode cluster --class org.apache.spark.examples.JavaSparkPi \ 
--master https://169.54.219.20 ~/Documents/Spark/JavaSparkPi.jar 

私は（昨日のような）最新spark-submit.shバージョンを使用しています。

./spark-submit.sh --version 
spark-submit.sh VERSION : '1.0.0.0.20160330.1' 

これは、（旧spark-submit.shで）数週間前罰金働いていたが、今、私は次のエラーを取得しています：

Downloading stdout_1461024849908170118 
    % Total % Received % Xferd Average Speed Time Time  Time Current 
           Dload Upload Total Spent Left Speed 
    0 89 0 89 0  0  56  0 --:--:-- 0:00:01 --:--:-- 108 
Failed to download from workdir/driver-20160418191414-0020-5e7fb175-6856-4980-97bc-8e8aa0d1f137/stdout to  stdout_1461024849908170118 

Downloading stderr_1461024849908170118 
    % Total % Received % Xferd Average Speed Time Time  Time Current 
           Dload Upload Total Spent Left Speed 
    0 89 0 89 0  0  50  0 --:--:-- 0:00:01 --:--:-- 108 
Failed to download from workdir/driver-20160418191414-0020-5e7fb175-6856-4980-97bc-8e8aa0d1f137/stderr to  stderr_1461024849908170118 

任意のアイデアを私が間違っているのかに？前もって感謝します。

EDIT：

私はstdoutとstderrをダウンロードしている間が、ジョブを送信する際に問題が実際にはないことを発見したログファイルを見ることによって。

{ 
    "action" : "SubmissionStatusResponse", 
    "driverState" : "FAILED", 
    "message" : "Exception from the cluster: 
org.apache.spark.SparkException: Failed to change container CWD 
org.apache.spark.deploy.master.EgoApplicationManager.egoDriverExitCallback(EgoApplicationManager.scala:168) 
org.apache.spark.deploy.master.MasterScheduleDelegatorDriver.onContainerExit(MasterScheduleDelegatorDriver.scala:144) 
org.apache.spark.deploy.master.resourcemanager.ResourceManagerEGOSlot.handleActivityFinish(ResourceManagerEGOSlot.scala:555) 
org.apache.spark.deploy.master.resourcemanager.ResourceManagerEGOSlot.callbackContainerStateChg(ResourceManagerEGOSlot.scala:525) 
org.apache.spark.deploy.master.resourcemanager.ResourceCallbackManager$$anonfun$callbackContainerStateChg$1.apply(ResourceManager.scala:158) 
org.apache.spark.deploy.master.resourcemanager.ResourceCallbackManager$$anonfun$callbackContainerStateChg$1.apply(ResourceManager.scala:157) 
scala.Option.foreach(Option.scala:236) 
org.apache.spark.deploy.master.resourcemanager.ResourceCallbackManager$.callbackContainerStateChg(ResourceManager.scala:157)", 
    "serverSparkVersion" : "1.6.0", 
    "submissionId" : "driver-20160420043532-0027-6e579720-2c9d-428f-b2c7-6613f4845146", 
    "success" : true 
} 
driverStatus is FAILED 

EDIT2：

最後にジョブを送信するときに私が持っていた問題はスパークサービスのブランドの新しいインスタンスを作成することにより、単に解決されています。私の仕事は数秒後に実行され、終了します。

しかし、stdoutとstderrファイルをダウンロードしようとすると、エラーが表示されます。

Downloading stdout_1461156506108609180 
% Total % Received % Xferd Average Speed Time Time  Time Current 
Dload Upload Total Spent Left Speed 
    0 90 0 90 0  0  61  0 --:--:-- 0:00:01 --:--:-- 125 
Failed to download from workdir2/driver-20160420074922-0008-1400fc20-95c1-442d-9c37-32de3a7d1f0a/stdout to stdout_1461156506108609180 

Downloading stderr_1461156506108609180 
% Total % Received % Xferd Average Speed Time Time  Time Current 
Dload Upload Total Spent Left Speed 
    0 90 0 90 0  0  56  0 --:--:-- 0:00:01 --:--:-- 109 
Failed to download from workdir2/driver-20160420074922-0008-1400fc20-95c1-442d-9c37-32de3a7d1f0a/stderr to stderr_1461156506108609180 

Answer 1

火花提出（昨日ダウンロードした）新しいがworkdir2フォルダからそれらをダウンロードしようとしていましたが、私は

... Workdirフォルダーからstdoutとstderrを取得しようとしていた古い火花提出すること

Failed to download from workdir/driver-20160418191414-0020-5e7fb175-6856-4980-97bc-8e8aa0d1f137/stdout to  stdout_1461024849908170118 

を見つけました...使用中の

Failed to download from workdir2/driver-20160420074922-0008-1400fc20-95c1-442d-9c37-32de3a7d1f0a/stdout to stdout_1461156506108609180 

フォルダが火花提出

if [ -z ${SS_SPARK_WORK_DIR} ]; then SS_SPARK_WORK_DIR="workdir2"; fi # Work directory on spark cluster 

01で初期化されている変数SS_SPARK_WORK_DIRによって固定されています。

私はworkdirに値を変更しました。私はBluemixサイトから新しい（今日）spark-submitをダウンロードしましたが、この問題は修正されました。変数がworkdirを指すようになりました。

何かがうまくいかない場合は、Bluemixの最後のspark-submitスクリプトがあることを確認してください。