RBM：Replicated Softmax Model（RSM）の導出

Question

私は、RSM（Replicated Softmax Model）またはそれと同等の単語数のための制限付きボルツマンマシン（RBM）の可視変数の条件付き分布を導出しようとしています。論文によると：SalakhutdinovとHintonによる「Replicated Softmax：Undirected Topic Model」また

：すべての努力にもかかわらず、私は条件付きでソフトマックスdistribtutionであることが判明することができますどのように取得することはできませんされてきた、しかしhttp://citeseerx.ist.psu.edu/viewdoc/download;jsessionid=B04C8D67D381B8106FF6FA4203A86264?doi=10.1.1.164.71&rep=rep1&type=pdf

：

紙はで見つけることができます私はが3D行列での2D行列であるか、代わりに2D行列とベクトルであると混乱しています。私はそれが後者であると信じています。誰かが派生したことを示すことができます。

私は、pythonのtheanoでトピックモデリングを行うためにRSMを実装しようとしています。私はそこにコードがあることを知っていますが、モデルを破る危険なしにコードを拡張または最適化できるように、派生を自分自身で理解することを好みます。

---

p.s.申し訳ありませんが、これはhttps://math.stackexchange.com/questions/2085616/rbm-deriving-the-replicated-softmax-model-rsmの再投稿ですが、私はそう多くのmathstackexchangeユーザーではありませんでした。

Answer 1

いつか私は物事を誤解した場所を知り、方程式を導き出すことができました。 math.stackexchange：
https://math.stackexchange.com/questions/2085616/rbm-deriving-the-replicated-softmax-model-rsm/2087272#2087272

を参照してください。