0

私はスパークで簡単な映画推薦マシン学習プログラムを試しています。 スパークバージョン:2.1.1 Javaバージョン:javaの8 Scalaのバージョン:Scalaのコードランナーバージョン2.11.7 ENV:マスターと労働者の奴隷を開始するには、これらのコマンドを実行しているWindows 7Javaでスパーク - エラー:JARからメインクラスをロードできません

//start master 
spark-class org.apache.spark.deploy.master.Master 

//start worker 
spark-class org.apache.spark.deploy.worker.Worker spark://valid ip:7077 

私はここから非常に単純な映画の推薦コードをしようとしています:http://blogs.quovantis.com/recommendation-engine-using-apache-spark/

私は、コードを更新しました:

SparkConf conf = new SparkConf().setAppName("Collaborative Filtering Example").setMaster("spark://valid ip:7077"); 
conf.setJars(new String[] {"C:\\Spark2.1.1\\spark-2.1.1-bin-hadoop2.7\\jars\\spark-mllib_2.11-2.1.1.jar"}); 

inteliJでこれを実行できません mvnを実行すると、jarをフォルダにインストールしてコピーすることができません。 私は上で実行するために使用するコマンド:

bin\spark-submit --verbose –-jars jars\spark-mllib_2.11-2.1.1.jar –-class “com.abc.enterprise.RecommendationEngine” –-master spark://valid ip:7077 C:\Spark2.1.1\spark-2.1.1-bin-hadoop2.7\spark-mllib-example\spark-poc-1.0-SNAPSHOT.jar C:\Spark2.1.1\spark-2.1.1-bin-hadoop2.7\spark-mllib-example\ratings.csv C:\Spark2.1.1\spark-2.1.1-bin-hadoop2.7\spark-mllib-example\movies.csv 10 

私は見誤りがある:

C:\Spark2.1.1\spark-2.1.1-bin-hadoop2.7>bin\spark-submit --verbose --class "com.sandc.enterprise.RecommendationEngine" --master spark://10.64.98.101:7077 C:\Spark2.1.1\spark-2.1.1- 
bin-hadoop2.7\spark-mllib-example\spark-poc-1.0-SNAPSHOT.jar C:\Spark2.1.1\spark-2.1.1-bin-hadoop2.7\spark-mllib-example\ratings.csv C:\Spark2.1.1\spark-2.1.1-bin-hadoop2.7\spark-m 
llib-example\movies.csv 10 
Using properties file: C:\Spark2.1.1\spark-2.1.1-bin-hadoop2.7\bin\..\conf\spark-defaults.conf 
Adding default property: spark.serializer=org.apache.spark.serializer.KryoSerializer 
Adding default property: spark.executor.extraJavaOptions=-XX:+PrintGCDetails -Dkey=value -Dnumbers="one two three" 
Adding default property: spark.eventLog.enabled=true 
Adding default property: spark.driver.memory=5g 
Adding default property: spark.master=spark://valid ip:7077 
Error: Cannot load main class from JAR file:/C:/Spark2.1.1/spark-2.1.1-bin-hadoop2.7/û-class 
Run with --help for usage help or --verbose for debug output 

私は--jarコマンドを与えた場合、それはエラーを与える:

Error: Cannot load main class from JAR file:/C:/Spark2.1.1/spark-2.1.1-bin-hadoop2.7/û-jars 

どのように私はこの仕事を火花に提出することができます任意のアイデア??

答えて

0

Jarは正しく構築されていますか? --classオプションの値に二重引用符を追加する必要もありません。

+0

--classオプションには二重引用符が付きます。私もこのようにjarを構築しようとしました:mvnクリーンパッケージアセンブリ:シングル しかし運はありません。 – user1860447

関連する問題