MALLETで訓練されたLDAモデルの奇妙なperplexity値

Question

私はStack Overflowデータダンプの一部にMALLETを使用してLDAモデルを訓練し、訓練とテストデータのために70/30分割を行いました。

しかし、perplexity値は、トレーニングセットよりもテストセットの方が低いので、奇妙です。これはどのように可能ですか？モデルがトレーニングデータに適していると思いましたか？

私はすでに私のperplexityの計算を2回チェックしましたが、私はエラーを見つけません。あなたはその理由を知ることができますか？

ありがとうございます！

編集：

代わりにトレーニングセットのLL /トークン値のためにコンソール出力を使用して、私は再びセット訓練に評価者を使用しています。今やその価値は妥当と思われる。理にかなって

Answer 1

。 LL /トークン番号は、話題の割り当てが両方ともとの確率を与えていますが、ホールドアウトされた確率は、話題に合計された観測された単語の限界確率を与えています。