spark submit java.lang.NullPointerExceptionエラー

Question

私はspark-mongoコードjarをWindows上のspark経由で送信しようとしています。私はスタンドアロンモードでsparkを使用しています。私はスパークマスターと同じマシン上に2人のワーカーを設定しました。 spark-submit --master spark://localhost:7077 --deploy-mode cluster --executor-memory 5G --class spark.mongohadoop.testing3 G:\sparkmon1.jar

私は次のエラーが直面しています：

Running Spark using the REST application submission protocol. 
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties 
17/02/28 17:09:13 INFO RestSubmissionClient: Submitting a request to launch an application in spark://192.168.242.1:7077. 
17/02/28 17:09:24 WARN RestSubmissionClient: Unable to connect to server spark://192.168.242.1:7077. 
Warning: Master endpoint spark://192.168.242.1:7077 was not a REST server. Falling back to legacy submission gateway instead. 
17/02/28 17:09:25 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 
17/02/28 17:09:32 ERROR ClientEndpoint: Exception from cluster was: java.lang.NullPointerException 
java.lang.NullPointerException 
     at java.lang.ProcessBuilder.start(ProcessBuilder.java:1012) 
     at org.apache.hadoop.util.Shell.runCommand(Shell.java:482) 
     at org.apache.hadoop.util.Shell.run(Shell.java:455) 
     at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:715) 
     at org.apache.hadoop.fs.FileUtil.chmod(FileUtil.java:873) 
     at org.apache.hadoop.fs.FileUtil.chmod(FileUtil.java:853) 
     at org.apache.spark.util.Utils$.fetchFile(Utils.scala:474) 
     at org.apache.spark.deploy.worker.DriverRunner.org$apache$spark$deploy$worker$DriverRunner$$downloadUserJar(DriverRunner.scala:154) 
     at org.apache.spark.deploy.worker.DriverRunner$$anon$1.run(DriverRunner.scala:83 

私はすでにENVでwinutilパスを設定している私は1つのマスターと2 workers.Iは、以下のコマンドを実行しようとしていて、私のjarファイルを実行したいです。 なぜこのエラーが発生するのですか？解決方法は何ですか？

Answer 1

Linuxで同じエラーが発生しましたが、ドライバを起動する要求がクラスタ内の他のマシンに送信されていた場合、ドライバがクラスタ内の特定のマシンから開始されたときに私が遭遇しました。 。だから私のケースでは、環境問題のように見えました。 それから、org.apache.hadoop.util.Shell $ ShellCommandExecutorクラスのコードをチェックして、コマンドを実行しようとしていますが、その前にそのマシンの "bash"を実行しようとしています。私はbashがbashrcのいくつかの変更を遅らせるように応答していたことを観察し、クラスタを再起動しました。 今すぐ動作します。