私のスパーク・ジョブは、色相がオージーによってサブミットされています。スパークは糸クラスターモードで実行されています。私はプロセスをチェックし、私はいわゆるドライバーの4040ポートで実行中のアプリケーションの状態を監視しようとしていますが、私は4040ポートを見つけることができません。私のSparkのドライバノードを見つける方法は?
appuser 137872 137870 0 18:55 ? 00:00:00 /bin/bash -c /home/jdk/bin/java -server -Xmx4096m -Djava.io.tmpdir=/data6/data/hadoop/tmp/usercache/appuser/appcache/application_1493800575189_0547/container_1493800575189_0547_01_000004/tmp '-Dspark.driver.port=36503' '-Dspark.ui.port=0' -Dspark.yarn.app.container.log.dir=/home/log/hadoop/logs/userlogs/application_1493800575189_0547/container_1493800575189_0547_01_000004 -XX:OnOutOfMemoryError='kill %p' org.apache.spark.executor.CoarseGrainedExecutorBackend --driver-url spark://[email protected]:36503 --executor-id 3 --hostname 10.120.117.100 --cores 1 --app-id application_1493800575189_0547 --user-class-path file:/data6/data/hadoop/tmp/usercache/appuser/appcache/application_1493800575189_0547/container_1493800575189_0547_01_000004/__app__.jar 1> /home/log/hadoop/logs/userlogs/application_1493800575189_0547/container_1493800575189_0547_01_000004/stdout 2> /home/log/hadoop/logs/userlogs/application_1493800575189_0547/container_1493800575189_0547_01_000004/stderr
appuser 138337 137872 99 18:55 ? 00:05:11 /home/jdk/bin/java -server -Xmx4096m -Djava.io.tmpdir=/data6/data/hadoop/tmp/usercache/appuser/appcache/application_1493800575189_0547/container_1493800575189_0547_01_000004/tmp -Dspark.driver.port=36503 -Dspark.ui.port=0 -Dspark.yarn.app.container.log.dir=/home/log/hadoop/logs/userlogs/application_1493800575189_0547/container_1493800575189_0547_01_000004 -XX:OnOutOfMemoryError=kill %p org.apache.spark.executor.CoarseGrainedExecutorBackend --driver-url spark://[email protected]0.117.107:36503 --executor-id 3 --hostname 10.120.117.100 --cores 1 --app-id application_1493800575189_0547 --user-class-path file:/data6/data/hadoop/tmp/usercache/appuser/appcache/application_1493800575189_0547/container_1493800575189_0547_01_000004/__app__.jar
spark.ui.portである理由私にはわかりませんもちろん、ポート0は私のLinuxシステムで許可されていません。私はREST APIからアプリケーションステータスを監視することはできません。
誰も私にいくつかの提案を与えることができますか?
Mariuszさんからのお返事をいただきありがとうございます。下記のApplicationMasterプロセスがスパークですか?
[[email protected] bin]$ ps -ef|grep ApplicationMaster
appuser 125805 125803 0 May03 ? 00:00:00 /bin/bash -c /home/jdk/bin/java -server -Xmx1024m -Djava.io.tmpdir=/data6/data/hadoop/tmp/usercache/appuser/appcache/application_1493800575189_0014/container_1493800575189_0014_01_000001/tmp -Dspark.yarn.app.container.log.dir=/home/log/hadoop/logs/userlogs/application_1493800575189_0014/container_1493800575189_0014_01_000001 org.apache.spark.deploy.yarn.ApplicationMaster --class 'com.netease.ecom.data.gjs.statis.online.app.day.AppDayRealtimeStatis' --jar hdfs://datahdfsmaster/user/appuser/bjmazhengbing/jar/spark_streaming/spark-streaming-etl-2.0.jar --arg 'analysis_gjs_online.properties' --arg 'rrr' --properties-file /data6/data/hadoop/tmp/usercache/appuser/appcache/application_1493800575189_0014/container_1493800575189_0014_01_000001/__spark_conf__/__spark_conf__.properties 1> /home/log/hadoop/logs/userlogs/application_1493800575189_0014/container_1493800575189_0014_01_000001/stdout 2> /home/log/hadoop/logs/userlogs/application_1493800575189_0014/container_1493800575189_0014_01_000001/stderr
スパークの公式文書によると、ドライバプログラムを監視するために使用されている4040ポートを持つ必要がありますが、私のドライバプログラムは、任意のポートを開いていなかったようだ。
[[email protected] bin]$ netstat -ntlp|grep 125805
(Not all processes could be identified, non-owned process info
will not be shown, you would have to be root to see it all.)
何I最終的にドライバのポートを見つける目的は、アプリケーションの状態を監視することです。助言がありますか?
あなたの助けに感謝します。ポートを編集しました。私にもっと提案してください。 – wuchang
ポートを判別するためにhadoopノードにログする必要はありません。最も簡単な方法はResource ManagerのUIを使用することです(前述)が、CLIを優先する場合は、糸コマンド '$ yarn application -status application_1493800575189_0014'を使用することができます。スパークドライバのトラッキングURLが表示されます。 – Mariusz
偉大な仕事! 'yarn application -status application_1493800575189_0014'は非常に有用な情報を提供しています。ありがとうございます。 – wuchang