mongodbデータベースから重複レコードを削除する方法

Question

私はmongoDBコレクションに5百万以上のレコードを持っています。それから重複したエントリを削除する必要があります。ここで私が試したコードは、ある

 from pymongo import MongoClient 
     conn=MongoClient("mongodb://127.0.0.1:27017") 
     db=conn.test 

     cursor=db.coll.aggregate(
      [ 
       {"$group": {"_id":{"Instrument Name":"$Instrument Name","High":"$High","Low":"$Low","V":"$V","Date":"$Date","Close":"$Close","Open":"$Open"}, "unique_ids": {"$addToSet": "$_id"}, "count": {"$sum": 1}}} 

      ], 
      { 
       'allowDiskUse': 'true' 
      } 

     ) 


     response = [] 
     for doc in cursor: 
      del doc["unique_ids"][0] 
      for id in doc["unique_ids"]: 
       response.append(id) 

     db.coll.remove({"_id": {"$in": response}}) 

しかし、私はallowDiskuseそのせずに小さなデータセット内のコードを実行すると、私は

Traceback (most recent call last): File "delete_duplicate.py", line 12, in 'allowDiskUse': 'true' TypeError: aggregate() takes exactly 2 arguments (3 given)

、のようなエラーを取得しています。このコードを実行しようとすると、重複したエントリを削除しても問題ありません。しかし、大規模なデータを設定しようとすると、allowdiskuseを使用する必要があるようなエラーが発生します。上記のerorを使用しています.MongoDB 3.0バージョンを使用しています。したがって、この問題を解決するために誰かが私を助けてください私のplatform.soでensureIndexは動作しません。

Answer 1

cursor = [{ 
    "$group": { 
     "_id": { 
      "Instrument Name": "$Instrument Name", 
      "High": "$High", 
      "Low": "$Low", 
      "V": "$V", 
      "Date": "$Date", 
      "Close": "$Close", 
      "Open": "$Open" 
     }, 
     "unique_ids": { 
      "$addToSet": "$_id" 
     }, 
     "count": { 
      "$sum": 1 
     } 
    } 
}] 

その後

result = coll.aggregate(cursor, allowDiskUse=True) 

Answer 2

はまた、あなたはあなたがすべて左があり、データベースから言及した列のすべての重複したエントリを削除します、あなたのデータベースにしたいいくつかのユニークなコラム、ためensure_index()を使用することができます呼び出します別個のエントリですので、スクリプトから行うクエリでは、結果に重複したレコードが表示されることはありません。