t-SNE埋め込みからのKL-分岐

Question

t-SNE埋め込み後の確率分布の最終的なKL発散を得るにはどうすればよいですか？私はsklearn.manifoldパッケージからTSNE関数を使用しています。それにアクセスできるパラメータはありますか？

Answer 1

あなたが使用できるトリックは、TSNE機能のパラメータ "verbose"を設定することです。あなたがKLの値が変数として格納されていませんが、あなたは別のソリューションを比較し、最低KLで1を選ぶことができます

[t-SNE] Computing pairwise distances... 
[t-SNE] Computing 91 nearest neighbors... 
[t-SNE] Computed conditional probabilities for sample 1000/1262 
[t-SNE] Computed conditional probabilities for sample 1262/1262 
[t-SNE] Mean sigma: 0.000000 
[t-SNE] Iteration 25: error = 0.8776680, gradient norm = 0.0074852 
[t-SNE] Iteration 50: error = 0.6590481, gradient norm = 0.0073444 
[t-SNE] Iteration 75: error = 0.2875383, gradient norm = 0.0039135 
[t-SNE] Iteration 100: error = 0.2597728, gradient norm = 0.0032396 
[t-SNE] Error after 100 iterations with early exaggeration: 0.259773 
[t-SNE] Iteration 125: error = 0.2333734, gradient norm = 0.0030973 
[t-SNE] Iteration 150: error = 0.2164318, gradient norm = 0.0045540 
[t-SNE] Iteration 175: error = 0.2175926, gradient norm = 0.0035685 
[t-SNE] Iteration 200: error = 0.2102150, gradient norm = 0.0041453 
[t-SNE] Iteration 225: error = 0.2186255, gradient norm = 0.0040576 
[t-SNE] Iteration 250: error = 0.2160356, gradient norm = 0.0036579 
[t-SNE] Iteration 250: did not make any progress during the last 30 episodes. Finished. 
[t-SNE] Error after 250 iterations: 0.216036 

：冗長= 2を使用すると、次の出力を得るでしょう。

Answer 2

適合モデルには、kl_divergence _という属性があります（documentationを参照）。