スパーク：参照を失ったunpersist RDD

リファレンスがないMLlibモデルで生成されたRDDをどのようにアンパサイズできますか？スパーク：参照を失ったunpersist RDD

私は、すべてのデータフレームをsqlContext.clearCache()でunpersistできますが、scala APIのRDDには似たようなものがありますか？さらに、すべてをunpersistすることなく、いくつかのRDDだけをunpersistする方法がありますか？

2017-02-06 germanium

私は私の答えを変更しました - 申し訳ありませんが、私はDataFrameについては、冒頭にRDDでしか掲載していません。今すぐうまくいくはずです。 –

あなたは

val rdds = sparkContext.getPersistentRDDs(); // result is Map[Int, RDD]

を呼び出してから、あなたは（1）場合は、この値を取得するために値をフィルタすることができます

rdds.filter (x => filterLogic(x._2)).foreach (x => x._2.unpersist())

（1） - コンパイラせず、手で書かれた - 申し訳ありませんがあるかどう）何かエラーがありますが、ありません;）

2017-02-06 16:26:29

これは私が必要としていたものです。ありがとうございます！ – germanium

答えて