sparkでデータフレームを解放するには？

Question

私はスパークを使用していますいくつかの計算を行います。 5分ごとに、私は新しいデータフレームを得ました。私は、辞書に入って来て、古いデータフレームは、辞書から飛び出し、この

dict_1_hour[timestamp] = dataframe 

新しいデータフレームのようdict_1_hourと呼ばれる辞書にそれを置きます。最新の1時間のデータは12データフレームのみが保持されます。

私はそれらのデータフレームをどのように解放してメモリリークがないことを確認する必要がありますか？データフレームのための

一つのAPIは、それを行うことができそうです。

unpersist(blocking=True) 
Marks the DataFrame as non-persistent, and remove all blocks for it from memory and disk. 

私は辞書からのデータフレームをポップだと思う他の方法（私が何のためのパラメータを知りません）。

dict_1_hour.pop(timestamp) 

Pythonは、未使用の変数を自動的に解放する必要があります。しかし、ここではそれが適切かどうかはわかりません。私はあなたが私がRDDに似たすべてのDataFrame、のしてください

Answer 1

ファーストを使用する必要がありますどの方法でそれ明示的

そうしてくださいアドバイスを放出しない場合に火花がデータフレームを保つことが心配、ちょうど地元の再帰的なデータ構造です。私は、PythonとJVMの両方で、他のオブジェクトと同じガベージコレクションサイクルを実行します。

考慮すべき第2の部分は、持続データ（cache、persist、cacheTable、シャッフルファイルなど）です。これは一般的にSparkによって内部的に処理され、unpersistを除き、あなたはその寿命をあまり支配しません。

この2つのことを念頭に置いて、オブジェクト上の単純なdelを超えて行うことはあまりありません。 DataFrameは一時テーブルとして登録されている場合

try: 
    del dict_1_hour[timestamp] 
except KeyError: 
    pass 

それでも、最初に登録を解除することを確認してください：

from py4j.protocol import Py4JError 

try: 
    sqlContext.dropTempTable("df") 
except Py4JError: 
    pass