どのように私はsparkアプリケーションをプロファイリングして、各段階でアプリケーションが費やした時間をチェックすることができますか？

Question

メモリにデータをロードしてからspark-sql操作を実行し、結果をユーザーに返します。

スパークジョブがメモリにデータをロードするのにかかる時間と、ジョブが実行を完了するまでに要した時間を各ステージでどのくらいの時間かかりますか？これに適したプロファイリングツールはありますか？

もしそうでなければ、すでに利用可能なスパークUI /ログを使ってそのような情報を取り出すことはできますか？

このデータを取得する他の方法がある場合は、

私はスパークの初心者ですので、非論理的/無関係な質問はお許しください。

ありがとうございます！

Answer 1

アプリケーションUI（マスターのデフォルトポート4040）には、各ステージの継続時間を報告する「ステージ」タブがあります。次のようになります。