Spark MLlib LDA、新しい目に見えない文書のトピック配布を推測する方法は？

Question

Spark MLlibを使ってLDAトピックモデリングを適用することに興味があります。私はhereのコードと説明をチェックしましたが、モデルを使って新しい目に見えない文書のトピックの分布を見つける方法を見つけることができませんでした。

Answer 1

Spark 1.5では、DistributedLDAModelではこの機能が実装されていませんでした。

newDocuments: RDD[(Long, Vector)] = ... 
val topicDistributions = distLDA.toLocal.topicDistributions(newDocuments) 

：何をする必要があるとしていること toLocal方法を使用して LocalLDAModelにモデルを変換し documentsは、新しい（すなわち、アウト訓練）文書である topicDistributions(documents: RDD[(Long, Vector])メソッドを呼び出して、このようなものです

これは、this paperが示唆しているEMアルゴリズムよりも精度は低くなりますが、動作します。あるいは、新しいオンライン変分EMトレーニングアルゴリズムを使用して、すでにLocalLDAModelという結果を得ることもできます。より速くなることに加えて、この新しいアルゴリズムは、フィッティングDistributedLDAModelsの古いEMアルゴリズムとは異なり、ドキュメントのトピック混合重みよりも前にディリクレのパラメータ（アルファ）を​​最適化しているために好ましい。 Wallach, et. al.によれば、アルファの最適化は、良いトピックを得るためには非常に重要です。