言語モデルの評価は未知語でどのように機能しますか？

Question

したがって、言語モデルを構築するために、語彙サイズを超えてランク付けされた単語の頻度が「UNK」に置き換えられます。

私の質問は、「UNK」に基づいて確率を評価するそのような言語モデルを評価する方法ですか？このような言語モデルのテストセット上での混乱を評価したいとします。モデルに未知の単語については、未知語の「バッグ」に基づいて評価します。

我々は1として、語彙サイズを設定した場合、すなわち、すべての言葉が不明であるので、これはこれのパープレキシティは、缶がdo-nothing言語モデルが1

Answer 1

このファイルは疑問を説明することになるだろう、問題のようです非常によく：

https://web.stanford.edu/~jurafsky/slp3/4.pdf

要するに、パープレキシティは、同じ語彙と言語モデル間で比較する必要があります。