IPythonのエラーに結びついたメモリを解放するノート

Question

IPythonのノートブックで非常に大きなデータセットを扱うことがあります。時には、1枚のパンダのDataFrameが1GB以上のメモリを占有することがあります。そのため、多くのコピーを保存する余裕はありません。

私が見つけたのは、このような行列で操作を実行しようとするとエラーが発生した場合、メモリが戻ってこないということです。断続的な変数はまだどこかで追跡されています。問題は、私はどこでそれを解放することができないのか分からない！

たとえば、次の図は、セルを繰り返し実行した後のメモリ消費量を示しています（グラフの各ステップはセルを実行しようとしています）。新しいメモリブロックが消費されるたびに、それは決して解放されません。

このメモリは行くとどのようにそれを解放する場所誰でも知っていますか？また、これがバグ（メモリリークなど）の場合は、どのように表示されますか？実際に設計されたコードの副作用である場合、バグとして報告したくありませんでした（例：IPythonはキャッシングしていますが、キャッシングシステムを乱用しています）。

ありがとうございました！

Answer 1

githubに関する議論では、issue 642に関して、jsonschema 2.4には既知のメモリリークがあります。 jsonschema 2.5.1にアップデートした後、私はもはやこの問題を抱えていません。

古いフレームワークを使用してこの問題が発生した場合は、少なくともjsonschemaをアップグレードする必要があります。