SPARK：Sparkクラスタのメモリ消費量を監視する方法は？

Question

基本的な質問は申し訳ありませんが、自分では理解できませんでした。

私はSparkのUIについて、どのくらいのメモリが利用可能であり、各ワーカーとドライバで使用されているかを把握しようとしていました。

この情報を監視するには簡単なの方法がありますか？

私の目標は、自分のデータが労働者とドライバにどれだけ占有しているかに応じて、持続戦略を決定することです。

P.S.私はSpark 1.6.1でスタンドアロンモードを使用しています

Answer 1

私はExecutorsタブに必要な情報があると思います。あなたが火花を持っているなら、あなたはそれを見つけるでしょうhttp://localhost:4040/executors/ 最高！