2016-03-30 13 views
2

Google Cloudデータラボを使用しています。%% storage読み取りコマンドを使用して大きなファイル(2,000,000行)をtext変数に読み込み、BytesIOを使用してpandasデータフレームに処理する必要があります。df_new=pd.read_csv(BytesIO(text))Pythonで使用した後にバッファスペースを解放しますか?

これで変数やその内容が周囲にある必要はありません(これ以上の処理はdf_newで行われます)どうすれば削除できますか(text)、メモリを解放するにはどうすればいいですか? 200万レコードのデータセット...)

答えて

3

delを使用して強制的にガベージコレクションを行います。

import gc 

# Remove text variable 
del text 
# Force gc collection - this not actually necessary, but may be useful. 
gc.collect() 

使用するメモリアロケータに応じて、プロセスサイズが減少し、メモリがOSに戻ってくることはありません(OS、使用されるコアライブラリ、およびPythonコンパイルオプションによって異なります)。

関連する問題