2016-12-08 10 views
0

intellijのクラスタでsparkに接続しようとしています。 は intellijのウィンドウを接続してクラスタを起動する方法

val conf = new SparkConf().setAppName("Ex").setMaster("spark://XXXX:7077") 

spark-env.sh及びこれを変更しようとしましたが、エラーを投げて接続できませんでした:

Could not connect to XXXXX:7077: akka.remote.EndpointAssociationException:   
Association failed with [akka.tcp://[email protected]:7077] 
Failed to connect to master XXXXX:7077 
akka.actor.ActorNotFound: Actor not found for: ActorSelection[Anchor(akka.tcp://[email protected]:7077/), Path(/user/Master)] 

誰かがそれを接続する方法を私にアプローチを伝えることができます。あなたのWindowsシステムとスパーククラスタ

  • との間の接続の問題は、あなたが念のために窓やスパーククラスタ間

をパスワードレスSSHを設定してくださいように思わ

おかげ

+0

を支援します(「スパーク:// XXXX:7077」)'し、それを実行します実行されます。 – toofrellik

答えて

0

Spark Clusterに接続する代わりにWindowsシステムでローカルにテストしたい場合は

Oウィンドウ上で火花をインストールし、コード内で次のように変更します

val conf = new SparkConf().setAppName("Ex").setMaster("local[*]") 

希望これは、クラスタ上で実行している間は、 `setMasterを削除

+0

私はintellij(ウィンドウ)からスパーククラスターに接続したいと思います。 – vikv

関連する問題