Herokuがメモリクォータを大幅に超過したことを警告すると、Pythonガベージコレクトは実行されますか（R15）？

Question

ヘロクのCeleryの下でバックグラウンドタスクを実行していると、「Error R14（Memory quota exceeded）」が頻繁に「Error R15（Memory quota exceeded）」になることがあります。データベースからたくさんのものを（PostgresのDjango経由で）ロードしていますが、大きなオブジェクトをロードして処理し、次に参照を破棄して次の大きなオブジェクトをロードする必要があります。

私の質問は、Herokuのメモリ制限を打つ前にガベージコレクタが実行することを知っていますか？手動でgcを実行する必要がありますか？

もう1つのことは、自分のタスクが失敗することがあり、セロリが自動的に再試行して成功することです。それは決定論的でなければなりません。私は、タスクが完了した後に何かがメモリにぶら下がっているのだろうと思っていて、次のタスクが始まるときにまだスペースを取っています。ワーカープロセスを再起動すると、メモリがクリアされ、成功します。たぶんDjangoまたはDBにはクリアされていないキャッシュがいくつかありますか？

私は標準2倍のサイズを使用しています。私はパフォーマンスやパフォーマンスに行くことができましたが、それを避けようとすればより多くの費用がかかるでしょう。

Answer 1

問題のように見えますが、私は.iterator()をメインクエリーセットで反復処理していません。私が各反復の後に作成しているデータ構造を解放しても、実際のクエリ結果はすべてキャッシュされます。

prefetch_relatedを広く使用しているため、残念ながら.iterator()は使用できません。

私はある種のハイブリッド方法が必要です。トップレベルのクエリーセットをバッチ処理することになると思います。 prefetch_relatedが持つ有限数のクエリの利点は完全にはありませんが、モデルオブジェクトごとに1つのクエリよりも優れています。