pythonがあまりにも多くのbigtextを処理していると、メモリがオーバーフローします。

Question

pythonはすべての文字列をathene_poolに格納し、決してそれらを解放しないので、最近bigtext prcocessingが私を悩ませました。 記事の内容をredisに保存し、redisclientからそれらをフェッチしてhttpレスポンスに送信します。シリアル化によってメモリが過剰になることがありますが、このような問題を解決する良いアイデアはありますか？ djangoがあまりにも多くのレスポンスを生成したかどうか、メモリを節約するためにそれらをどのように解放するのでしょうか？

Answer 1

Pythonはすべての文字列をプールしません。Are strings pooled in Pythonを参照してください。

たとえば、この10K文字列がプールされていません。

>>> a = '5' * 10000 
>>> b = '5' * 10000 
>>> a is b 
False 

をしかし、短い5文字の文字列がでは、プールされた：

>>> a = '5' * 5 
>>> b = '5' * 5 
>>> a is b 
True 

エルゴ：あなたは長い間心配する必要はありません。文字列は必要以上に長くメモリに保持されます。