Pythonは私が次の表持つ

Question

重複ルールを定義：列の値は、私はのように行0および2を認識するための方法を探しています行1と3を切り替えるだけでなく、している

index col_A col_B 

0 John Jones 
1 Perez Mark 
2 Jones John 
3 Mark Perez 
4 Albert Perez 

行0および2を行1と行3も重複として重複しています。次に、重複を削除して、一意的な出現のうちの1つだけを保持したいと思います。したがって結果の行列は3行2列（行4は重複がないため）でなければなりません。ネストされたループを使用せずにこれを行う効率的な方法はありますか（私のテーブルには3百万以上の行があります）？ありがとう

Answer 1

setを使用して、すでに追加された要素を覚えておくことができます。何かのように

a = [(0, 'John', 'Jones'), (1, 'Perez', 'Mark'), (2, 'Jones', 'John'), (3, 'Mark', 'Perez'), (4, 'Albert', 'Perez')] 

res = [] 

already_added = set() 

for e in a: 
    key1, key2 = e[1]+e[2], e[2]+e[1] 
    if key1 not in already_added and key2 not in already_added: 
     res.append(e) 
     already_added.add(key1) 

res 
Out[37]: [(0, 'John', 'Jones'), (1, 'Perez', 'Mark'), (4, 'Albert', 'Perez')] 

Answer 2

簡単で効率的な方法は、DBMSを作成することです。 sqlite3では、次のようなものが動作します。

DELETE FROM table WHERE id NOT IN (SELECT max(id) FROM table GROUP BY col_A,col_B)