重複を識別する - csv dict reader

Question

1つのcsvファイルの行を繰り返し処理しています。処理済み行のいずれかと重複している場合は、その行を処理しないようにします。以下は

は私のコードです：

import csv 
csv_contents = request.vars['file'].value.decode('utf-8') 
file = csv_contents.splitlines() 
file_data = [row for row in csv.DictReader(file)] 
for data in file_data: 
    #if duplicate, continue. skip the row 

行は、ファイル内の重複しているかどうかを識別する方法。

Answer 1

リストから重複したエントリを削除するには、リストをセットに変換してリストに再度変換することができます。

import csv 
csv_contents = request.vars['file'].value.decode('utf-8') 
file = csv_contents.splitlines() 
# Duplicate entries are removing 
file_data = list(set([row for row in csv.DictReader(file)])) 

Serge Ballesta氏によれば、リストの順序はこの方法では保存されませんでした。