私は2つのアプリケーションを作成しました(スプレーフレームワークを使用するものと、もう1つはkafkaからメッセージを受け取り、cassandraに送信します)。 両方とも常に実行されるので、決して停止しないでください。 は、私は、サーバー上でスタンドアロンでMと私のconfがある:実行中のアプリケーションはspark web Uiに表示されますが、実行されません
- In spark_env.sh :
SPARK_MASTER_IP=MYIP
SPARK_EXECUTOR_CORES=2
SPARK_MASTER_PORT=7077
SPARK_EXECUTOR_MEMORY=4g
#SPARK_WORKER_PORT=65000
MASTER=spark://${SPARK_MASTER_IP}:${SPARK_MASTER_PORT}
SPARK_LOCAL_IP=MYIP
SPARK_MASTER_WEBUI_PORT=8080
- In spark_env.sh :
spark.master spark://MYIPMASTER:7077
spark.eventLog.enabled true
spark.eventLog.dir /opt/spark-1.6.1-bin-hadoop2.6/spark-events
spark.history.fs.logDirectory /opt/spark-1.6.1-bin-hadoop2.6/logs
spark.io.compression.codec lzf
spark.cassandra.connection.host MYIPMASTER
spark.cassandra.auth.username LOGIN
spark.cassandra.auth.password PASSWORD
私は両方のページにアクセスすることができ
:MYIP :8080 /とMYIP:http://MYIP:8080/に、私は私の労働者を参照してください/ しかし、4040、私がすることができます実行中の私のアプリケーションを参照してください。
私はこの使用し提出:
/opt/spark-1.6.1-bin-hadoop2.6/bin/spark-submit --class MYCLASS --verbose --conf spark.eventLog.enable=true --conf spark.master.ui.port=8080 --master local[2] /opt/spark-1.6.1-bin-hadoop2.6/jars/MYJAR.jar
はなぜ? 私を助けることができますか?
おかげで使用しているあなたの火花-submitコマンドにはたくさん:)
'--master local [2]'を送信する必要がありますか? :) – zero323