SPARK - スパーク・ジョブの持続時間が各ステージの持続時間の合計と等しくないのはなぜですか？

Question

スパークジョブは複数のステージの集合で構成されています...

私は、ジョブの実行時間が各ステージの持続時間の合計と等しいか、少なくとも似ていると予想していました。

しかし、私は巨大な矛盾を取得しています：1,3分X 3,2秒

は、それが許容/正常ですか？要するに

Answer 1

、ジョブの実行時間は、ウォールクロック時間

であることは、ステージが実際に計算されていない間、時間がまだ測定されていることを意味：クラスタが間に何かをやってビジー状態である可能性がありあなたの仕事の段階

これは反対の方向でも働くかもしれません：複数の段階が並行して実行される間、段階の実行時間の合計はジョブの実行時間より長くなるかもしれません。