Herokuセロリのバックグラウンドタスク

Question

Herokuでdjango-celeryを実行するという単純なタスクがあります。ような何か：起源は、csvファイルをある

@task 
Simple_task(): 
    for line in csv.reader(origin): 
     process_line(line) 

process_line(line): 
    fields = parse_line(line) 
    reg = Model1() # Django model 
    reg.field1 = fields[0] 
    reg.field2 = fields[1] 
    reg.field3 = fields[2] 
    reg.save() 

。ファイルが大きい場合（50.000行以上）、タスクはすべてのメモリーを占有し、システムによって取り消されるまでR14エラーを出します（512MBの使用可能メモリーの150％）。メモリは決して解放されず、手動でタスクを再起動する必要があります。

Linuxマシンで、または開発マシンで営業している人は、問題なく完了します（すべて170.000行）。それはHeroku上にのみメモリをリークしているようだ。 ところで、DEBUG = Falseで実行します。

Herokuのセロリタスクの実装で何かが壊れていますか？私たちは行方不明になることは何ですか？これはHerokuで展開する上でのショーストッパーになっています。

ご協力いただければ幸いです。

Answer 1

私はJoshBに、あなたのケースでは512MB以上のメモリを使用しているようだと同意します。タスクprocess_lineを作成し、ファイル全体を処理するために、それらのキューの代わりにタスクを作成する場合、どのよう

• 。その場合、Herokuのあなたの記憶は過負荷にならないでしょう。

• その他の可能な解決策は、あなたのダイノスに1GBのRAMを使用できるHerokuの新しいサービスです。 リンク：ときDEBUG is set to Trueそれが実行されたすべてのSQL文のコピーを保存しますので、2x dynos beta

Answer 2

Djangoのメモリリークが発生。

ホスティングと同じ仕様の仮想マシンを使用してローカルでテストすることができます。または、ulimitを使用してプロセスメモリを制限してください。この方法で、ローカルでコードが512MBのRAMだけで動作するかどうかを確認できます。