Herokuのメモリクォータを超えないように、長時間実行されるレーキタスクのメモリをクリアするにはどうすればよいですか？

Question

私はバックグラウンドでHeroku上で実行する必要があるレーキタスクを1つのタスクとして持っています。しかし、タスクはかなり大きく、私は 'Error R14（Memory Quota Exceeded）'を実行し、これを避ける方法についていくつかのヒントを得ることができると考えていました。

本質的に、タスクはProductsテーブルを参照し、画像がない製品を見つけますProduct.where(images: nil)。 タスクは各エントリを順番に繰り返します。 product.urlを使用して（Nokogiriを使用して）リモートWebサイトへの接続を開き、イメージといくつかの追加データを取得します。画像はmini_magickを使用してサイズ変更され、搬送波を使用してS3バケットに保存されます。

私は処理が必要な約39000レコードがありますが、約500後にメモリクォータ超過エラーが発生し、タスクが停止します。

私はこれがかなりメモリ集中的な仕事である理由を知ることができますが、誰かが私が各レコードが処理され、保存された後にどのようにメモリをクリーンアップできるかについて、 100レコードごと）。

また、自動的に終了した後にHerokuタスクを自動再起動する方法はありますか？

Answer 1

あなたは、各レコードを反復です、あなたが開始するためにGCを強制することができます：

Products.where(images: nil).each_with_index do |image, index| 
    if index % 100 == 0 
    GC.start 
    end 
end