リストを効率的に反復するには？

Question

は、私はGoogleのword2vecで重複した単語を見つけようとしています、例えば、word2vecに、2つのワードの埋め込みは、「こんにちは」と「こんにちは」のためにそこにあります。ここで私のコードですが、単純ですが効率的ではありません。事前に訓練されたGoogleのword2vec 3万語を持っているよう

def load_w2v(): 
openfile = '../Pretrained/word2vec/GoogleNews-vectors-negative300.bin' 
model = gensim.models.KeyedVectors.load_word2vec_format(openfile, binary=True) 
return model.vocab.keys() 

if __name__ == '__main__': 
    pre_trained_words = load_w2v() 
    ready_have = [] 
    duplicated_words = [] 
    for word in pre_trained_words: 
     if word.lower() not in ready_have: 
      ready_have.append(word.lower()) 
     else: 
      duplicated_words.append(word) 
      continue 

しかし、私のコンピュータは18時間runingてなく終了したので、私は思っていたされた重複した単語を取得するための、いくつかeffiencient方法はありますか？

Answer 1

のメンバーシップテストは、それぞれの呼び出しがO（N）回複雑であるため、アプローチが遅いのは驚きではありません。あなたは、単に（read_haveの順序は重要ではありませんと仮定）ready_haveセットを作り、ready_have.add(word.lower())を使用してこれをスピードアップすることができ、またはcollections.Counter使用するクリーナーであるかもしれない：私はCounter解決のために仮定してい

from collections import Counter 

my_counter = Counter(word.lower() for word in load_w2v()) 
ready_have, duplicated_words = [], [] 
for word, count in my_counter.items(): 
    read_have.append(word) 
    if count != 1: 
     duplicated_words.append(word) 

注意を複製された各単語を一度追加するだけですが、これは簡単に変更することができます。