レールでの接続処理の破損

Question

私は、postgresテーブルに接続してロジックとコードを適用するモジュールをrubyで書いています。以下は

はサンプルコードです：

module SampleModuleHelper 
    def self.traverse_database 
    ProductTable.where(:column => value).find_each do |product| 
     #some logic here that takes a long time 
    end 
    end 
end 

ProductTableは300万人以上のレコードを持っています。私はwhere句を使用して検索されたレコードの数を減らしました。

しかし、私はコード接続の証明をする必要があります。接続が途切れ、最初からテーブルを横断し始める必要がある時があります。私はこれを望んでいない、むしろそれは取った時間が各レコードのためにあまりにも多いので、中断したところから始めるべきである。

コードを途中で中止するにはどうすればよいでしょうか？

1つの方法は、停止した場所の主キー（id）を記録してそこから再び開始するテーブルをデータベースに作成することです。しかし、このようなプロセスが多いため、データベースにテーブルを作成する必要はありません。

Answer 1

処理されたレコードのカウンタを保持し、処理を続行するにはoffsetメソッドを使用できます。

の線に沿って何か：私は再び機能を起動した場合

MAX_RETRIES = 3 
def self.traverse(query) 
    counter = 0 
    retries = 0 
    begin 
    query.offset(counter).find_each do |record| 
     yield record 
     counter += 1 
    end 
    rescue ActiveRecord::ConnectionNotEstablished => e # or whatever error you're expecting 
    retries += 1 
    retry unless retries > MAX_RETRIES 
    raise 
    end 
end 

def self.traverse_products 
    traverse(ProductTable.where(column: value)) do |product| 
    # do something with `product` 
    end 
end