sparkアプリケーションでメモリとCPUの使用状況を監視するにはどうすればよいですか？

Question

私のスパークアプリケーションを実行した後、性能を評価するためにメモリとCPUの使用状況を監視したいが、何も見つからなかった。それを監視することは可能ですか？スパークアプリケーションでメモリとCPUの使用状況を監視するにはどうすればよいですか？

Answer 1

いくつかのオプションがあります：あなたがあなた自身のクラスタ上で実行している場合

1. 神経節が1
2. であるが、HDPまたはClouderaの両方がリアルタイムCPU &メモリ消費量のグラフを持っています。
3. 特定のJVMメトリックが必要な場合は、FlameGraphをお勧めしますが、リアルタイムではありません。
4. Grafanaもありますが、これは非常に強力で、多くの指標を追跡でき、リアルタイムです。