マレットはLDAのデフォルトのハイパーパラメータ、つまりアルファとベータをどのように設定しましたか？

Question

私は、マレットトピックモデリングについて質問する1つの質問があります。 LDAのデフォルトのハイパーパラメータ、つまりアルファとベータをどのように設定しますか？

Answer 1

alphaのデフォルトは5.0をトピック数で割ったものです。あなたは、これをトピックに関する一様分布の重みの5つの「疑似単語」と考えることができます。書類が不足している場合は、事前に制服に近づくことが期待されます。文書が長い場合は、以前の文書から離れるより自信が感じられます。

ハイパーパラメータの最適化を使用すると、トピックごとにalpha値が異なる場合があります。通常、デフォルト設定より小さくなります。

betaのデフォルト値は0.01です。これは、各話題が、ボキャブラリのサイズを100で割ったものよりも前に、ユニフォームにウェイトを持つことを意味します。これは良い値であるようです。最適化をオンにすると、値は2倍以上にはほとんど変わりません。