NLTKを使ってバイグラムを置き換えるには？

Question

は、テキストのコーパスで見つかったトップn最も一般的なバイグラムの、top_n、私はタプルのリストを持っていると言う：

import nltk 
from nltk import bigrams 
from nltk import FreqDist 

bi_grams = bigrams(text) # text is a list of strings (tokens) 
fdistBigram = FreqDist(bi_grams) 

n = 300 
top_n= [list(t) for t in zip(*fdistBigram.most_common(n))][0]; top_n 
>>> [('let', 'us'), 
    ('us', 'know'), 
    ('as', 'possible') 
    .... 

は今、私はとtop_nにバイグラムある単語のセットのインスタンスを交換したいですそれらの連結は、である。例えば、我々は文字列のリストであるquery新しい変数を持っていると言う：

query = ['please','let','us','know','as','soon','as','possible'] 

は、所望の動作後

['please','letus', 'usknow', 'as', 'soon', 'aspossible'] 

なります。より具体的には、queryのすべての要素を検索し、i番目と（i + 1）番目の要素がtop_nにあるかどうかを確認したいと思います。そうである場合は、query[i]とquery[i+1]を連結した1つのバイグラムで置き換えます。つまり、(query[i], query[i+1]) -> query[i] + query[i+1]です。

NLTKを使用してこれを行う方法はありますか、queryの各単語をループする必要がある場合は、これを行う最もよい方法は何ですか？

Answer 1

あなたのコードと、彼らはtop_nにあった場合の言葉は貪欲に自分のバイグラムに置き換えられますクエリ、を考えると、これはトリックを行いますが（たとえば）で

lookup = set(top_n) # {('let', 'us'), ('as', 'soon')} 
query = ['please', 'let', 'us', 'know', 'as', 'soon', 'as', 'possible'] 
answer = [] 
q_iter = iter(range(len(query))) 
for idx in q_iter: 
    answer.append(query[idx]) 
    if idx < (len(query) - 1) and (query[idx], query[idx+1]) in lookup: 
     answer[-1] += query[idx+1] 
     next(q_iter) 
     # if you don't want to skip over consumed 
     # second bi-gram elements and keep 
     # len(query) == len(answer), don't advance 
     # the iterator here, which also means you 
     # don't have to create the iterator in outer scope 

print(answer) 

結果：

>> ['please', 'letus', 'know', 'assoon', 'as', 'possible'] 

Answer 2

代替答え：

from gensim.models.phrases import Phraser 
from gensim.models import Phrases 
phrases = Phrases(text, min_count=1500, threshold=0.01) 
bigram = Phraser(phrases) 
bigram[query] 
>>> ['please', 'let_us', 'know', 'as', 'soon', 'as', 'possible'] 

ない正確にデその質問で望まれる出力が得られるが、これは代替手段として機能する。入力min_countとthresholdは出力に強く影響します。 this question hereに感謝します。