1
MLEを使ってnグラム・モデルを訓練することに関する多くの文書を学びましたが、すべての実装がnグラムを数えて条件付き確率を計算することに気づいたので、私の質問はMLEとの関係ですか?MLEを使ってnグラムモデルをトレーニングする方法は?
MLEを使ってnグラム・モデルを訓練することに関する多くの文書を学びましたが、すべての実装がnグラムを数えて条件付き確率を計算することに気づいたので、私の質問はMLEとの関係ですか?MLEを使ってnグラムモデルをトレーニングする方法は?
直観的には、世界中のすべてのテキストのすべてのnグラムを計算して、確率を計算する必要があります。これは非常に非現実的なので、MLEは、これらのnグラム確率を、与えられたコーパスで数えて推定する方法を提供します。例えば
あなたは単語のx次の単語Yのバイグラム確率が必要な場合、あなたは、ペアとしてそれらの発生の数をカウントします。次に、xで始まるすべてのバイグラムの合計で除算することで正規化する必要があります(xの後にすべての可能な単語が続く)
、最終的にMLEの見積もりは0と1の間になります。
:したがって、このバイグラム確率は次式で推定することができ
:X自体のユニグラムカウントに