としてpythonで開かれたとして、私はエントリで大きなファイルを持っているのpython

Question

を使用して、リスト内の重複したエントリを削除しますNAME1' 、 'UGA'、 'GGU']

[ 'DEF'、 'C​​HR9'、 '14855289'、NAME19' 、 'UCG'、 'GUC']

[ 'TTC'、「CHR9 '、' 793946 '、' NAME178 '、' CAG '、' GUC ']

[ 'ABC'、 'C​​HR9'、 '3468582'、 'NAME272'、 'UGT'、 'GCU']

私は一意のエントリを抽出し、COL1で同じ値を持つエントリを削除する必要があり、COL2 col3。この場合のように、最後の行はcol1、col2、col3に基づいて行1と同じです。

は、私は二つの方法を試みたが失敗している

：

方法1：

outlist=[] 

for element in parsed_in:  
    if element[0:3] not in outlist[0:3]: 
    outlist.append(element) 

方法2：

outlist=[] 
parsed_list=list(parsed_in) 
for element in range(0,len(parsed_list)): 
    if parsed_list[element] not in parsed_list[element+1:]: 
    outlist.append(parsed_list[element]) 

これらは両方に基づいてすべてのエントリではなく一意のエントリをバック与えます最初の3列。

私のセットにあなたのリストを変換し

にそうAK

Answer 1

おそらく追加しているときに自分で要素の完全スキャンを保存するためにO（1）ルックアップを使用したい、とCaol Acainが言ったように、それを行うには良い方法です設定します。あなたが交互に行にキーをマッピングする辞書を使用することもできましたが、これはあなたが入力の順序を保持しないことを警告しています

outlist=[] 
added_keys = set() 

for row in parsed_in: 
    # We use tuples because they are hashable 
    lookup = tuple(row[:3])  
    if lookup not in added_keys: 
     outlist.append(row) 
     added_keys.add(lookup) 

：あなたが何をしたいか

のようなものですしたがって、リストとキーセットを使用すると、ファイル内でオーダーを保持することができます。

Answer 2

を行う方法を提案してください！

http://docs.python.org/tutorial/datastructures.html#sets