2016-09-13 21 views
0

私は2つのアプリケーションを作成しました(スプレーフレームワークを使用するものと、もう1つはkafkaからメッセージを受け取り、cassandraに送信します)。 両方とも常に実行されるので、決して停止しないでください。 は、私は、サーバー上でスタンドアロンでMと私のconfがある:実行中のアプリケーションはspark web Uiに表示されますが、実行されません

- In spark_env.sh : 

SPARK_MASTER_IP=MYIP 
SPARK_EXECUTOR_CORES=2 
SPARK_MASTER_PORT=7077 
SPARK_EXECUTOR_MEMORY=4g 
#SPARK_WORKER_PORT=65000 
MASTER=spark://${SPARK_MASTER_IP}:${SPARK_MASTER_PORT} 
SPARK_LOCAL_IP=MYIP 
SPARK_MASTER_WEBUI_PORT=8080 

- In spark_env.sh : 
spark.master      spark://MYIPMASTER:7077 
spark.eventLog.enabled   true 
spark.eventLog.dir    /opt/spark-1.6.1-bin-hadoop2.6/spark-events 
spark.history.fs.logDirectory /opt/spark-1.6.1-bin-hadoop2.6/logs 
spark.io.compression.codec  lzf 
spark.cassandra.connection.host MYIPMASTER 
spark.cassandra.auth.username LOGIN 
spark.cassandra.auth.password PASSWORD 
私は両方のページにアクセスすることができ

:MYIP :8080 /とMYIP:http://MYIP:8080/に、私は私の労働者を参照してください/ しかし、4040、私がすることができます実行中の私のアプリケーションを参照してください。

私はこの使用し提出:

/opt/spark-1.6.1-bin-hadoop2.6/bin/spark-submit --class MYCLASS --verbose --conf spark.eventLog.enable=true --conf spark.master.ui.port=8080 --master local[2] /opt/spark-1.6.1-bin-hadoop2.6/jars/MYJAR.jar 

はなぜ? 私を助けることができますか?

おかげで使用しているあなたの火花-submitコマンドにはたくさん:)

+1

'--master local [2]'を送信する必要がありますか? :) – zero323

答えて

2

--masterローカルモードでアプリケーションを提出しているlocal[2]として。実行しているスタンドアロンクラスタで実行する場合は、マスタオプションのspark master URL、つまり、--master spark://MYIPMASTER:7077

+0

あなたの答えをありがとう、私は試してみました - マスタースパーク:// MYIPMASTER:7077しかし、それは私が原因で起きた:java.net.ConnectException:接続が拒否されました:/127.0.0.1:7077 私がやります ?私は外部Ipでも試しましたが、同じ問題を抱えました:( –

+0

スパークマスターUIに表示される同じURLを試してください。 – Hokam

+0

ありがとう、 私はそれをタイプミスで修正しました...今それは完全に動作します –

関連する問題