メモリを使い果たすことなくDjangoの大きなテーブルを反復するには？

Question

私はテーブルが何百万ものレコードを持っているDjangoモデルを持っています。私はシェルのテーブル内のすべてのレコードの緊急保守をやろうとしていますが、システム上のメモリを完全に使い果たすことなくMyModel.objects.all()を実行できません。

でもpassが私のプロセスを殺し、OOMキラーが呼び出されます：

for ii in MyModel.objects.all(): 
    pass 

DjangoのQuerySetはすべてのリストを構築することにより、その「結果キャッシュ」を構築しようとしているので、理由がありますここでの私の記録、の：

# django/db/models/query.py 
def _fetch_all(self): 
    if self._result_cache is None: 
     self._result_cache = list(self.iterator()) # <<<< this guy! 
    if self._prefetch_related_lookups and not self._prefetch_done: 
     self._prefetch_related_objects() 

しかし、私のマシンはメモリ内のリスト全体を保持することはできません。

このような大きなテーブルでは、実際のアプリケーションでは恐ろしいアイディアになるので、この問題の範囲は限られています（メンテナンス作業）が、時々起こります。

Answer 1

しようとする最初の事はそれを反復する前に、クエリセットにiterator()方法を使用している：

for ii in MyModel.objects.all().iterator(): 

Answer 2

完全なレコードのすべてをメモリに収めることはできないかもしれませんが、すべての主キーをメモリに収めることができます。ですから、すべてのプライマリキーのリストを反復処理し、それぞれに.get()を行うと、個別のレコードを操作することができます

for pk in MyModel.objects.values_list('pk', flat=True): 
    ii = MyModel.objects.get(pk=pk) 
    ii.maintenance_activity() 

をこれはもちろん、スーパーCPU効率的ではありませんが、それは多くのメモリが効率的です。このようなことがメンテナンス活動のためだけに出てくるべきであることを考えれば、理想的でないパフォーマンスはうまくいけば問題ではないはずです。

Answer 3

あなたがpython3.Xを使用している場合は、いくつかの非同期タスクを試すことができます。

スケジュールフェッチを作成すると便利です。

このような何か：

async def _fetch_all(self): 
    if self._result_cache is None: 
      self._result_cache = await list(self.iterator()) # <<<< this guy! 
    if self._prefetch_related_lookups and not self._prefetch_done: 
      await self._prefetch_related_objects() 

あなたのコードを実行するには：

import asyncio 
my_model = MyModel() 
asyncio.get_event_loop().run_until_complete(my_model._fetch_all()) 

しかし、あなたは2.7を使用している場合は、セロリと非同期タスクを作成する必要があるか、それを行うためにいくつかのツールを試してみますDjango Asyncのように。

希望します。

Take a look