どのようにすべてのバイグラムを特定のウィンドウサイズ内で取得できますか？

Question

はのは、私は、この文字列

my_string = "This is an example string" 

を持っており、与えられた「窓」内のすべてのバイグラムを計算するための高速な方法があります場合、私は思っていたとしましょう。例えば

ウィンドウが二つの単語の場合は三つの言葉は、我々は最初の3ワードウィンドウ

["This is","is an","This an","an this",...] 

のためにこれらのバイグラムを持っている場合は、すべての可能なバイグラムは

["This is","is This","is an","an is","an example","example an","example string","string example"] 

しかし、もし窓あり

sklearnを使ってbigramsを取得するのは簡単です。たとえば、1は

bigrams = CountVectorizer(analyzer = "word", 
        strip_accents = "ascii", 
        lowercase = True, 
        ngram_range = (2,2)) 

bigrams_counts = bigrams.fit_transform(my_string) 

を行うことができますし、あなたのすべてのバイグラムのリスト（とさえ数）を得ますが、それはすなわち（文字列ではなく、他の組み合わせに存在バイグラム「このANを」のみが含まれますと "これは"そこにはありません）。

したがって、特定のウィンドウ内ですべてのバイグラムを取得する方法があるかどうかは分かりますか？例から

Answer 1

：

["This is","is an","This an","an this",...] 

これらはバイグラムようには見えませんが、窓からの言葉の順列。 3つの言葉のために、それは次のようになります。あなたはカウントが必要な場合は、カウント（ウィンドウのサイズEGオーバーラップ量に依存）Counterを使用しますが、その重複等三倍、倍増させます用心

from itertools import permutations, chain 
from functools import partial 

my_string = "This is an example string".split() 
set(chain.from_iterable(map(partial(permutations, 
            r=2), 
          zip(my_string, 
           my_string[1:], 
           my_string[2:])))) 

与えられた単語の対について。

from collections import Counter 

Counter(chain.from_iterable(map(partial(combinations, r=2), 
           zip(my_string, 
            my_string[1:], 
            my_string[2:])))) 

と結果：

Counter({('is', 'an'): 2, ('an', 'example'): 2, ('This', 'is'): 1, ('This', 'an'): 1, ('example', 'string'): 1, ('an', 'string'): 1, ('is', 'example'): 1}) 

そして、あなたは別の結果として、ウィンドウが必要な場合は、最終的に、チェーンをスキップ：

list(map(partial(permutations, r=2), 
     zip(my_string, my_string[1:], my_string[2:])))