スパーク・スタンドアロン・デプロイメントでエグゼクティブが失敗する

ローカルWindowsマシンでsparkを実行しています。私はそれがクラスタマスターURIを与えるとき、それは完璧にうまく動作しますが、それはそれが開始するすべてのエグゼキュータに対して次の例外をスローします。
17/10/05 17:27:19 INFO StandaloneAppClient$ClientEndpoint: Executor updated: app-20171005172719-0006/0 is now FAILED (java.lang.IllegalStateException: Library directory 'C:\Spark\bin\.\assembly\target\scala-2.10\jars' does not exist; make sure Spark is built.)

私はローカルでスパークスタンドアロン環境を試していました。だから私はマスターノードとワーカーノードを開始し、私のドライバプログラムにマスターURLを与えました。私はSPARK_HOME環境変数がC:\Spark（スパークを置いた場所）に設定されていることを確認しました。

この問題を解決するお手伝いがありましたら感謝します。スパーク・スタンドアロン・デプロイメントでエグゼクティブが失敗する

出典

2017-10-05 Rakesh

正確なspark-submitコマンドを引数で共有できますか？ –

spark-submit --class SparkApp - master spark：// {IP}：7077 "D：\ work \ Examples \ SparkExample \ target \ SparkExample-0.0.1-SNAPSHOT.jar" – Rakesh

コードを追加してスパークアウトしてください。サブミットコマンド –

私は何とかこの問題の修正を見つけることができました。この問題は、spark homeのパス変数によって引き起こされました。パス変数%SPARK_HOME%\binを追加したときに、SPARK_HOME（環境変数）を選択しませんでした。私はその環境変数とパス変数を削除し、再度追加してシステムを再起動しました。出来た。

出典

2017-10-06 05:52:40 Rakesh

スパーク・スタンドアロン・デプロイメントでエグゼクティブが失敗する

答えて

関連する問題