リリース孤立スパークDATAFRAME

、私はそうのような孤立したオブジェクトを作成することができます。これは、パンダのデータフレームを返し、スパークで無名のRDDをキャッシュしますリリース孤立スパークDATAFRAME

result = myDataFrame.filter('col1="value"').cache().to_Pandas()

を。私はsqlContext.clearCache()で孤児をクリアすることができますが、すべての永続RDDが削除されます。使用するRDD /データフレームのオブジェクトのないRDD unpersist

a）のオブジェクトが）UIに行かなくても（キャッシュされている私の現在のセッションから検索、および

B）：する方法はありますか？

2016-08-24 RichD

キャッシュ」はdoesnの本当に意味をなさない – zero323

私はそれを行うのはやっかいなことだと思います。実際にはやりませんが、Sparkのメモリリークを突き止める試みが行われています。私は、孤児を見つけてすべてを浄化することなく殺すことができると思っていました... – RichD

OK、それはもっと意味があります:) – zero323

あなたがメモリにあなたのデータフレームをキャッシュする必要があり、なぜ私が見るcant't、しかし、あなたが収集し、パンダのデータフレームにそれを変換し、キャッシュされたデータが残っていないがあるだろうことができます。このような

result = myDataFrame.filter('col1="value"').collect() 

result = result.to_Pandas()

2017-04-19 14:15:41

答えて