sparkクラスランチャー出力ファイルが見つかりませんでした--driver-class-path

Question

私はawsで素敵なプレーをするためにスパークを取得しようとしています。 Windows環境で作業する。

NativeS3クラスは、私が試したオプションに関係なく見つけられません。現在私が使用している場合：spark-shell --packages com.amazonaws:aws-java-sdk-s3:1.10.38,com.amazonaws:aws-java-sdk-core:1.10.38,org.apache.hadoop:hadoop-aws:2.7.1私のコマンドとして私はファイルをdwnloadし、s3を使用することができますが、ハッキーとそれらをダウンロードするすべてのネクタイは理想的ではない感じ。私はにつながる他のオプションをしようとしてきた他の助けを借りて

：

>spark-shell --driver-class-path=C:\Spark\hadoop\share\hadoop\common\lib\hadoop-aws-2.7.1.jar;C:\Spark\hadoop\share\hadoop\common\lib\aws-java-sdk-1.7.4.jar" --verbose 

存在しなかったファイルをコピーするとエラーが発生しました、私はちょうどカバーにTEMPのパスを変更特権の疑いが、このエラーが残る：

C:\java_1.7\jdk1.7.0_79\bin\java -cp "C:\Spark\hadoop\share\hadoop\common\lib\hadoop-aws-2.7.1.jar;C:\Spark\hadoop\share\hadoop\common\lib\aws-java-sdk-1.7.4.jar --verbose > c:\temp\spark-class-launcher-output-4879.txt;C:\Spark\bin\..\conf 
Xms1g -Xmx1g "-XX:MaxPermSize=256m" org.apache.spark.deploy.SparkSubmit --conf "spark.driver.extraClassPath=C:\Spark\hadoop\share\hadoop\common\lib\hadoop-aws-2.7.1.jar;C:\Spark\hadoop\share\hadoop\common\lib\aws-java-sdk-1.7.4.jar --verbo 
The system cannot find the file c:\temp\spark-class-launcher-output-4879.txt. 
Could Not Find c:\temp\spark-class-launcher-output-4879.txt 

それがspark-class2.cmdファイルで、この特定の行に正確に指摘されていますが、私はそれを解決する方法がわかりません。

https://github.com/apache/spark/blob/master/bin/spark-class2.cmd#L59 

誰でも光を放つことができますか？ \一時\火花クラスランチャー出力-4879.txt：事前にありがとうございます、私の目を引いた

Answer 1

一つのことは、エラー

Cでのドライブ文字でした。

小文字です。 spark-class2.cmdのコードを調べると、％temp％変数が読み取られます。

windowsコマンドラインでecho %temp%を実行して何が設定されているか確認できますか？それは、小文字、単に実行するように設定されている場合

set temp=C:\temp

そしてドライバクラスを有するスパークシェルを実行します。

ありがとう、

チャールズ。

Answer 2

私はあまりにも十分な時間のためにこのような問題を抱えていました。後で私が見つけたのは、JAVA_HOMEパスの設定ミスに関する問題でした。 確定したパスに設定すると、問題は解決されました。

また、リンクに記載された手順に従ってみてください： https://jaceklaskowski.gitbooks.io/mastering-apache-spark/content/spark-tips-and-tricks-running-spark-windows.html