Rails postgresデータベースから重複を削除する

Question

Railsアプリケーションを使用して作成されたローカルPostgreSQLデータベースがあります。それには600k個のレコードがあり、そのうち〜200kは重複しています。私はレコードの1つだけを残し、重複を削除したい。 Railsは私の趣味であり、まだActiveRecordに苦労しています。ここで

は、私が見つけた方法です（Railsのコンソールで）重複：

Summary.select(:map_id).group(:map_id).having("count(*) > 1") 

私は単にそれがそのエントリのすべてのインスタンスを破壊するとして、その文の最後にdestroy_allを追加するなどのことができるとは思いません重複した値

重複を削除するように更新する方法を教えてください。

Answer 1

これは、各パスで、map_id当たり単一の複製を選択する、波のように重複を破壊します。重複が存在しなくなると、ループは自動的に終了します。

loop do 
    duplicates = Summary.select("MAX(id) as id, map_id").group(:map_id).having("count(*) > 1") 
    break if duplicates.length == 0 
    duplicates.destroy_all 
end 

データベースは次のようになります場合：最初の波で

| id | map_id | 
| 1 | 235 | 
| 2 | 299 | 
| 3 | 324 | 
| 4 | 235 | 
| 5 | 235 | 
| 6 | 299 | 
| 7 | 235 | 
| 8 | 324 | 
| 9 | 299 | 

、これらのレコードが返され、破壊される：第二波で

| id | map_id | 
| 7 | 235 | 
| 8 | 324 | 
| 9 | 299 | 

、このレコードは次のようになります返され、破壊された：

| id | map_id | 
| 5 | 235 | 
| 6 | 299 | 

第三の波は、このレコードを返し、破壊するであろう：

| id | map_id | 
| 4 | 235 | 

第四の波は、プロセスを完了します。与えられたmap_idに対して多数の重複がない限り、このプロセスは1桁のループ反復で終了する可能性があります。

このアプローチでは、重複のみが返され、より新しいの重複が削除されます。古い重複、代わりに、クエリがこれに変更することができます削除するには：その場合は

duplicates = Summary.select("MIN(id) as id, map_id").group(:map_id).having("count(*) > 1") 

を、波1が戻って破壊するであろう：

| id | map_id | 
| 1 | 235 | 
| 2 | 299 | 
| 3 | 324 | 

ウェーブ2は戻って破壊するであろう：

| id | map_id | 
| 4 | 235 | 
| 6 | 299 | 

ウェーブ3は戻って破壊するであろう：

| id | map_id | 
| 5 | 235 | 

Wave 4が処理を完了します。

Answer 2

私は、DBコンソール（rails dbconsole）に行くとどうなる：

SELECT DISTINCT ON (map_id) * FROM summaries AS some_temp_name; 

は、その後のテーブルの名前を変更します。

EDIT - これはあなたが探しているもののように思える：

Summary.where.not(id: Summary.group(:map_id).pluck('min(summaries.id)')).delete_all 

テストされていません。この回答の一部です： Rails: Delete duplicate records based on multiple columns

Answer 3

私が提案するのは、重複しているフィールドですべてのレコードと順序を取得することです。

次に、すべてのレコードをループし、値ごとに1つのレコードを保持します。

value = nil 
Summary.order("map_id ASC").each do |record| 
    if record.map_id == value 
    # duplicate 
    record.destroy 
    else 
    # first entry 
    value = record.map_id 
    end 
end