python nltkでトリグラムの条件付き確率を見つける

Question

私はNLTKの学習を始めました。hereから、このようなバイグラムを使って条件付き確率を見つけるチュートリアルに従っています。

import nltk 
from nltk.corpus import brown 
cfreq_brown_2gram = nltk.ConditionalFreqDist(nltk.bigrams(brown.words())) 

しかし、私はトリグラムを使って条件付き確率を見つけたいと思っています。 nltk.bigramsをnltk.trigramsに変更しようとすると、次のエラーが発生します。

Traceback (most recent call last): 
    File "<stdin>", line 1, in <module> 
    File "home/env/local/lib/python2.7/site-packages/nltk/probability.py", line 1705, in __init__ 
    for (cond, sample) in cond_samples: 
ValueError: too many values to unpack (expected 2) 

トリグラムを使用して条件付き確率を計算するにはどうすればよいですか？

Answer 1

nltk.ConditionalFreqDistは、データを(condition, item)タプルのシーケンスとして想定しています。 nltk.trigramsは、投稿した正確なエラーを引き起こす長さ3のタプルを返します。

あなたの投稿から、あなたが条件として使用したいものは明確ではありませんが、言語モデリングを行う際の規約は、その前任者の最後の単語を条件付けすることです。 次のコードは、その実装方法を示しています。

brown_trigrams = nltk.trigrams(brown.words()) 
condition_pairs = (((w0, w1), w2) for w0, w1, w2 in brown_trigrams) 
cfd_brown = nltk.ConditionalFreqDist(condition_pairs) 

Answer 2

hereと記載されているnグラムモデルを使用できます。

使用のための例：

from nltk.util import ngrams 

input= '...' 
N = 3 
trigrams = ngrams(input.split(), N) 
for grams in trigrams: 
    print grams 

私は強く上のドキュメントを読むことをお勧めします、と私はそれが役立つだろう願っています。