Hadoop-2.6の糸クラスターで送信したときにSpark UIが表示されない

Question

私はApache Spark 1.6を8ノードのクラスタとリモートで使用しています。マスターノードで以下のようにspark-submitを使用してジョブを送信しています：

hastimal@hadoop-8:/usr/local/spark$ ./bin/spark-submit --class umkc.graph.SparkRdfCcCount --master yarn-cluster --num-executors 7 --executor-memory 52g --executor-cores 7 --driver-memory 52g --conf spark.default.parallelism=49 --conf spark.driver.maxResultSize=4g --conf spark.yarn.executor.memoryOverhead=4608 --conf spark.yarn.driver.memoryOverhead=4608 --conf spark.akka.frameSize=1200 --conf spark.network.timeout=300 --conf spark.io.compression.codec=lz4 --conf spark.rdd.compress=true --conf spark.eventLog.enabled=true --conf spark.eventLog.dir=hdfs://128.110.152.54:9000/SparkHistory --conf spark.broadcast.compress=true --conf spark.shuffle.spill.compress=true --conf spark.shuffle.compress=true --conf spark.shuffle.manager=sort /users/hastimal/SparkProcessing.jar /inputRDF/data-793-805.nt 

すべては問題ありません。私は何のエラーもなく出力されていますが、Spark UIを見に行くと表示されません。私はHDFSでの許可と書き込みに関連する私の問題を解決しthisとthis含め物事のカップルに従った後

val conf = new SparkConf().setAppName("Spark Processing").set("spark.ui.port","4041") 

：私のスパークScalaのコードでは、私はこのように書かれています。私は​​を実行すると、私は糸でログを見ると、それは次のように示しています

16/04/25 16:34:23 INFO server.AbstractConnector: Started SelectChannelConnector@0.0.0.0:4041 
16/04/25 16:34:23 INFO util.Utils: Successfully started service 'SparkUI' on port 4041. 
16/04/25 16:34:23 INFO ui.SparkUI: Started SparkUI at http://128.110.152.131:4041 
16/04/25 16:34:23 INFO cluster.YarnClusterScheduler: Created YarnClusterScheduler 
16/04/25 16:34:24 INFO util.Utils: Successfully started service 'org.apache.spark.network.netty.NettyBlockTransferService' on port 41216. 
16/04/25 16:34:24 INFO netty.NettyBlockTransferService: Server created on 41216 
16/04/25 16:34:24 INFO storage.BlockManagerMaster: Trying to register BlockManager 
16/04/25 16:34:24 INFO storage.BlockManagerMasterEndpoint: Registering block manager 128.110.152.131:41216 with 34.4 GB RAM, BlockManagerId(driver, 128.110.152.131, 41216) 
16/04/25 16:34:24 INFO storage.BlockManagerMaster: Registered BlockManager 

UIが再びデータノードの一つであるhttp://128.110.152.131:4041に開始されたと私はそのURLに行くとき、それはエラーを拒否示しスパークを意味し、どの以下のように：

FYI：すべてのポートを使用し、すべてのマシンで開かれました。私を助けてください。私はSpark JobのDAGを見たい。私は糸のUIを通じてすべての糸のアプリケーションを見ることができます。私はポート8088を使って以下のようなアプリケーションUIを見ることができます： 。スタンドアロンやIntelliJ IDEのようにDAGでSpark UIを見たいと思っています。

Answer 1

糸モードでは、アプリケーションマスターがスパークUIを作成します。ジョブがgotoリソースマネージャを実行してApplicationMasterをクリックすると、UIが表示されます。