scikit learnのLDAメソッドの変換結果をどのように解釈しますか？

Question

私はScikit-LearnのLatentDirichletAllocationモデルを使用しています。 Xは、5000個の特徴（100×5000）を有する100個の文書のマトリックスである。私は次のコードを実行しました：

from sklearn.decomposition import LatentDirichletAllocation 
lda = LatentDirichletAllocation(n_topics = 5) 
X_new = lda.fit_transform(X) 

X_newは、各文書のトピック配布でなければなりません。しかし、私はどのように実際の値を解釈するか分からない。各配列は合計100ではないので、それ自体がディストリビューションではありません。たとえば、最初の2つのドキュメントの配列は次のとおりです。

[66404.6, 0.2, 2004.7, 0.2, 0.2] 
[0.2,47.3,0.2,14.0,02] 

これらの数値を解釈/正規化するにはどうすればよいですか？

Answer 1

私はこの質問にはもっとここに似合うと思う：あなたがここにそれを求めているので、この文書は、n個のトピックのいずれ合っ「どのくらい」、各セルは、https://datascience.stackexchange.com

しかし（あなたのケースでは、5）。 各文書が各トピックに対して個別に測定されているため、正規化されていません（理論上、すべてのトピックでスコアが0になります）。それを正規化したいのであれば、l1の各行を正規化するだけで、すべてのトピックに対する文書の配布を表示できます。