SparkアプリケーションのエグゼキュータIPを知るには？

Question

実行時にエグゼキュータのすべてのIPを取得したいのですが、SparkのどのAPIを使用する必要がありますか？または実行時にIPを取得する他の方法？

Answer 1

Apache SparkにはExecutorInfoというクラスがあり、実行者ホストIPを返すメソッドexecutorHost（）があります。

Answer 2

SparkListener抽象クラスを使用して、実行者固有の2つのイベント（SparkListenerExecutorAddedおよびSparkListenerExecutorRemoved）を傍受する必要があります。

override def onExecutorAdded(executorAdded: SparkListenerExecutorAdded): Unit = { 
    val execId = executorAdded.executorId 
    val host = executorAdded.executorInfo.executorHost 
    executors += (execId -> host) 
    println(s">>> executor id=$execId added on host=$host") 
} 

override def onExecutorRemoved(executorRemoved: SparkListenerExecutorRemoved): Unit = { 
    val execId = executorRemoved.executorId 
    val host = executors remove execId getOrElse "Host unknown" 
    println(s">>> executor id=$execId removed from host=$host") 
} 

作業プロジェクト全体がSpark Executor Monitor Projectにあります。