私は指定されたコマンドを使用しました。私は火花のPIとスタンドアロンのプログラムを実行することができますが、私はホストからアクセスできないUIを起動しようとしました。どんな助け?sequenceiq/sparkのホストからSpark UIにアクセスできない:1.6.0
docker pull sequenceiq/spark:1.6.0
docker build --rm -t sequenceiq/spark:1.6.0 .
docker run -it -p 8088:8088 -p 8042:8042 -p 4040:4040 -h sandbox sequenceiq/spark:1.6.0 bash
docker run -i -t -v /scratch:/mnt -e 8088 -e 8042 -e 4040 sequenceiq/spark:1.6.0 /bin/bash
docker run -d -h sandbox sequenceiq/spark:1.6.0 -d
#run the spark shell
spark-shell \
--master yarn-client \
--driver-memory 1g \
--executor-memory 1g \
--executor-cores 1
#execute the the following command which should return 1000
scala> sc.parallelize(1 to 1000).count()
スパークシェルスニペット:
16/12/08 22:42:27 INFO Remoting: Remoting started; listening on addresses :[akka.tcp://[email protected]:43371]
16/12/08 22:42:27 INFO util.Utils: Successfully started service 'sparkDriverActorSystem' on port 43371.
16/12/08 22:42:27 INFO spark.SparkEnv: Registering MapOutputTracker
16/12/08 22:42:27 INFO spark.SparkEnv: Registering BlockManagerMaster
16/12/08 22:42:27 INFO storage.DiskBlockManager: Created local directory at /tmp/blockmgr-61bf4e4d-e0f9-48a9-924f-8971c3d916e7
16/12/08 22:42:27 INFO storage.MemoryStore: MemoryStore started with capacity 511.5 MB
16/12/08 22:42:28 INFO spark.SparkEnv: Registering OutputCommitCoordinator
16/12/08 22:42:28 INFO server.Server: jetty-8.y.z-SNAPSHOT
16/12/08 22:42:28 INFO server.AbstractConnector: Started [email protected]:4040
16/12/08 22:42:28 INFO util.Utils: Successfully started service 'SparkUI' on port 4040.
16/12/08 22:42:28 INFO ui.SparkUI: Started SparkUI at http://172.17.0.5:4040
16/12/08 22:42:28 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032
私は与えられたコマンドを試しています。この場合、sparkコンテキスト初期化自体は失敗します。コマンド:docker run -i -t -v/scratch:/ mnt -e 8088 -e 8042 -e 4040 -e SPARK_LOCAL_IP = "10.240.36.174" sequenceiq/spark:1.6.0/bin/bash – One
引用符は必要ありません--env SPARK_LOCAL_IP = 10.240.36.174 – ravthiru