スパーク：リストから削除する前にrdd unpersist

Question

私はrdd List<JavaRDD<MyType>>のリストを持っています。リストの各rddはメモリにキャッシュされます。

ここでは、リスト項目の1つを削除します。 .remove(index)の前に.unpersist()に電話する必要がありますか？

「はい」の場合：.unpersist()はレイジー評価を使用しています。何らかのアクションを実行してアイテムを削除する必要がありますか？それはあまり意味がないように見えます。

お願いします。

Answer 1

私は（.unpersistを呼び出す必要があります）、その上に.remove前（インデックス）

あなたは可能性があり、おそらくそれを行うには良いアイデアですが、そうでない場合は、それがします自動的に1つのオブジェクトがガベージコレクションされます。

私はいくつかのアクションを実行し、間違いなくアイテム

をしませ削除する必要があります。 RDD上でunpersistを呼び出すと何も問題はありませんが、これは永続化されていません。削除するものがない場合は、より良い方法です。