言語モデルの混乱は、どのようにして0と1の間にありますか？

Question

Tensorflowでは、私は0.602129または0.663941のような出力を得ています。 0に近い値はより良いモデルを意味するように見えますが、perplexityは2^lossと計算されているように見えます。これは損失が負であることを意味します。これは意味をなさない。

Answer 1

これは私にはあまり意味がありません。錯視は2^entropyと計算されます。そして、エントロピーは0から1までです。したがって、結果は<です。意味が成り立ちません。

エラーがある可能性があるので、あなたのモデルがパープレキシティをどのように計算するかを見てみることをお勧めします。