Sparkのメモリ使用量を（YARNで）グラフィカルに表示するにはどうしたらいいですか？

Question

私は火花のメモリ管理についてpresentationを調べていましたが、メモリエラーをよりよく理解するために、エグゼキュータのメモリ使用量（プレゼンテーションで言及したものに似ています）をグラフィカルに表示する方法を知りたいと思っていました。また、スパークエグゼキュータのオフヒープメモリ使用量を分析する最善の方法は何ですか？オフヒープメモリ使用量を時間の関数としてどのように見つけるか？

私はGangliaを調べましたが、ノードレベルのメトリックを示しています。私は、ノード・レベル・メトリックを使用して、エクゼキュータ・レベルのメモリー使用量を理解するのは難しいと感じました

Answer 1

私は同様のツールについて考えていました。

私はorg.apache.spark.scheduler.SparkListenerが、Apache Sparkのすべての低レベルメトリクスへのインターフェイスであり、onExecutorMetricsUpdateは、より高度な監視ツールを開発する際の方法と考えています。

JMXインターフェイスを使用してJVMを監視することもできますが、Sparkのリソースの使用方法に関するコンテキスト情報があまりにも低く、間違いなくある可能性があります。