RDDを再計算したのですか、それともキャッシュから引き出しましたか？

Question

RDDを再計算する必要があるのか​​、キャッシュから取り除いたのか、どうすればわかりますか？

（私は、不要なキャッシュ文を削除しようとしていると私は、パフォーマンスをテストしてい）あなたがこれを近づくことができる

Answer 1

一つの方法は、あなたは彼らがキャッシュされたかどうかを知りたいRDDSの名前を設定し、確認することですSpark UIの[Storage]タブをクリックします。

そこから、キャッシュされているのか部分的にキャッシュされているのかを知ることができ、再計算が必要な場合があります。