スパークウェブUIのカラースキーム

Question

青色の部分は何を表していますか？私は緑のゾーンが計算時間を表すことを理解することができます。凡例から進むと、青色のゾーンはスケジューラーの遅延を表すはずです。しかし、前述のように数字は一致しません。スケジュール遅延はエグゼキュータ時間にはごくわずかです。それで、それはどういう意味ですか？

Answer 1

スケジューラはステージとタスクのDAGを構築し、クラスタとやりとりして最も効率的な方法で分散させるためのマスターの一部です。スケジューラ遅延は、エグゼキュータにタスクを送信して結果を戻すのにかかる時間のオーバーヘッドです。

これは、それが最新のbranchで計算する方法である。

private[ui] def getSchedulerDelay(
     info: TaskInfo, metrics: TaskMetricsUIData, currentTime: Long): Long = { 
    if (info.finished) { 
     val totalExecutionTime = info.finishTime - info.launchTime 
     val executorOverhead = (metrics.executorDeserializeTime + 
     metrics.resultSerializationTime) 
     math.max(
     0, 
     totalExecutionTime - metrics.executorRunTime - executorOverhead - 
      getGettingResultTime(info, currentTime)) 
    } else { 
     // The task is still running and the metrics like executorRunTime are not available. 
     0L 
    } 
}