Javaを使用してsparkコンテキストを初期化できません

Question

sparkを使用して簡単な作業カウントプログラムを試していますが、sparkコンテキストを初期化しようとすると失敗します。以下 は私がスパークバージョン2.1.1を使用しています明らかにしたかった今、いくつかの私のコード

conf = new SparkConf(true). 
       setAppName("WordCount"). 
       setMaster("spark://192.168.0.104:7077"); 

     sc = new JavaSparkContext(conf); 

で、私のJavaコードは、Windows 10上で、私のサーバーは、VMのボックス上で実行されています。 VMでファイアウォールを無効にしました。ウィンドウからURL http://192.168.0.104:8080/にアクセスできます。

コード

17/08/06 18:44:15 INFO SparkUI: Bound SparkUI to 0.0.0.0, and started at http://192.168.0.103:4040 
17/08/06 18:44:15 INFO StandaloneAppClient$ClientEndpoint: Connecting to master spark://192.168.0.104:7077... 
17/08/06 18:44:15 INFO TransportClientFactory: Successfully created connection to /192.168.0.104:7077 after 41 ms (0 ms spent in bootstraps) 
17/08/06 18:44:15 WARN StandaloneAppClient$ClientEndpoint: Failed to connect to master 192.168.0.104:7077 
org.apache.spark.SparkException: Exception thrown in awaitResult 
    at org.apache.spark.rpc.RpcTimeout$$anonfun$1.applyOrElse(RpcTimeout.scala:77) 
    at org.apache.spark.rpc.RpcTimeout$$anonfun$1.applyOrElse(RpcTimeout.scala:75) 
    at scala.runtime.AbstractPartialFunction.apply(AbstractPartialFunction.scala:33) 
    at org.apache.spark.rpc.RpcTimeout$$anonfun$addMessageIfTimeout$1.applyOrElse(RpcTimeout.scala:59) 
    at org.apache.spark.rpc.RpcTimeout$$anonfun$addMessageIfTimeout$1.applyOrElse(RpcTimeout.scala:59) 

を実行するときにいくつかのいずれかが助けることはできますか？私は、スタックトレースの下に取得していますが

Answer 1

いくつかのSparkクラスをプログラムにインポートする必要があります。次の行を追加します。

import org.apache.spark.api.java.JavaSparkContext 
import org.apache.spark.api.java.JavaRDD 
import org.apache.spark.SparkConf 

SparkConf conf = new SparkConf().setAppName("WordCount").setMaster("local"); 
JavaSparkContext sc = new JavaSparkContext(conf);