2016-12-09 3 views
0

私は指定されたコマンドを使用しました。私は火花のPIとスタンドアロンのプログラムを実行することができますが、私はホストからアクセスできないUIを起動しようとしました。どんな助け?sequenceiq/sparkのホストからSpark UIにアクセスできない:1.6.0

docker pull sequenceiq/spark:1.6.0 
docker build --rm -t sequenceiq/spark:1.6.0 . 
docker run -it -p 8088:8088 -p 8042:8042 -p 4040:4040 -h sandbox sequenceiq/spark:1.6.0 bash 
docker run -i -t -v /scratch:/mnt -e 8088 -e 8042 -e 4040 sequenceiq/spark:1.6.0 /bin/bash 
docker run -d -h sandbox sequenceiq/spark:1.6.0 -d 
#run the spark shell 
spark-shell \ 
--master yarn-client \ 
--driver-memory 1g \ 
--executor-memory 1g \ 
--executor-cores 1 

#execute the the following command which should return 1000 
scala> sc.parallelize(1 to 1000).count() 

スパークシェルスニペット:

16/12/08 22:42:27 INFO Remoting: Remoting started; listening on addresses :[akka.tcp://[email protected]:43371] 
16/12/08 22:42:27 INFO util.Utils: Successfully started service 'sparkDriverActorSystem' on port 43371. 
16/12/08 22:42:27 INFO spark.SparkEnv: Registering MapOutputTracker 
16/12/08 22:42:27 INFO spark.SparkEnv: Registering BlockManagerMaster 
16/12/08 22:42:27 INFO storage.DiskBlockManager: Created local directory at /tmp/blockmgr-61bf4e4d-e0f9-48a9-924f-8971c3d916e7 
16/12/08 22:42:27 INFO storage.MemoryStore: MemoryStore started with capacity 511.5 MB 
16/12/08 22:42:28 INFO spark.SparkEnv: Registering OutputCommitCoordinator 
16/12/08 22:42:28 INFO server.Server: jetty-8.y.z-SNAPSHOT 
16/12/08 22:42:28 INFO server.AbstractConnector: Started [email protected]:4040 
16/12/08 22:42:28 INFO util.Utils: Successfully started service 'SparkUI' on port 4040. 
16/12/08 22:42:28 INFO ui.SparkUI: Started SparkUI at http://172.17.0.5:4040 
16/12/08 22:42:28 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032 

答えて

0

は、ホストのIPにSPARK_LOCAL_IPを設定してみてくださいしてから答えを得たアクセスに

+0

私は与えられたコマンドを試しています。この場合、sparkコンテキスト初期化自体は失敗します。コマンド:docker run -i -t -v/scratch:/ mnt -e 8088 -e 8042 -e 4040 -e SPARK_LOCAL_IP = "10.240.36.174" sequenceiq/spark:1.6.0/bin/bash – One

+0

引用符は必要ありません--env SPARK_LOCAL_IP = 10.240.36.174 – ravthiru

0

を試してみてください、私は糸のように、マスターとスパークシェルを実行していました。このジョブはリソースマネージャのUIの下で表示されました。

ローカルのマスターspark UIでsparkシェルを実行すると問題なく動作します。

マスターとUIを選択してください。

+0

コメント:https://github.com/sequenceiq/docker-spark/issues/2 matyixは2014年10月30日にコメントしました あなたがYARNクラスタでSparkジョブをサブミットするとき、唯一の依存関係はウェブのものを含まないスパークヤーンなので、UIを見ることは期待できません。 両方の(クライアントとクラスタ)モードのログを確認すると、その違いがわかります。 8088のリソースマネージャのUIに接続することで、アプリケーションを常に追跡できます。 – One

+0

投稿を編集することができます。あなた自身の後でコメントする必要はありません。 –

関連する問題