カルバック・ライブラー（KL）テキスト文書間の距離の計算は、次のテキスト文書間のKL距離を計算するために

Question

私の目標をされてnumpyの使用：

1)The boy is having a lad relationship 
2)The boy is having a boy relationship 
3)It is a lovely day in NY 

私が最初にすべての、容易にするために文書をベクトル化numpyの

1)[1,1,1,1,1,1,1] 
2)[1,2,1,1,1,2,1] 
3)[1,1,1,1,1,1,1] 

に適用それからテキストとの間のKL距離を計算するための次のコードを適用：

import numpy as np 
import math 
from math import log 

v=[[1,1,1,1,1,1,1],[1,2,1,1,1,2,1],[1,1,1,1,1,1,1]] 
c=v[0] 
def kl(p, q): 
    p = np.asarray(p, dtype=np.float) 
    q = np.asarray(q, dtype=np.float) 
    return np.sum(np.where(p != 0,(p-q) * np.log10(p/q), 0)) 
for x in v: 
    KL=kl(x,c) 
    print KL 

上記コードの結果は[0.0, 0.602059991328, 0.0]です。 テキスト1と3は完全に異なりますが、それらの間の距離は0ですが、関連性の高いテキスト1と2は距離が0.602059991328です。これは正確ではありません。

KLに関して私が何をしていないのか誰にも分かりますか？あなたの提案に感謝します。

Answer 1

KLのコンセプトに甘んじると、私はあなたの問題はベクトル化によるものだと考えています。異なる単語の出現数を比較しています。列インデクスを1つの単語にリンクするか、辞書を使用してください：

# The boy is having a lad relationship It lovely day in NY 
1)[1 1 1 1  1 1 1   0 0  0 0 0] 
2)[1 2 1 1  1 0 1   0 0  0 0 0] 
3)[0 0 1 0  1 0 0   1 1  1 1 1] 

次に、kl関数を使用することができます。

自動的に辞書にベクトル化するには、How to count the frequency of the elements in a list?（collections.Counterが必要なものです）を参照してください。次に、辞書のキーの和集合をループして、KL距離を計算することができます。

Answer 2

NPのKL定義に潜在的な問題がある可能性があります。式のためのウィキペディアページを読む：http://en.wikipedia.org/wiki/Kullback%E2%80%93Leibler_divergence

ログ結果に（p-q）を乗算することに注意してください。私は別の答えを追加するために嫌いますが、2つの点がここにあります

役立つかもしれ

return np.sum(np.where(p != 0,(p) * np.log10(p/q), 0)) 

...

Answer 3

：KL式に従い、これが唯一のpでなければなりません。まず、Jaimeがコメントで指摘したように、KL発散（または距離 - 以下の文書によれば同じもの）は、確率分布の差を測定するように設計されています。これは、基本的に、関数に渡すものは2つの配列のようなものでなければならず、各要素の合計は1になることを意味します。

第2に、scipyは明らかに情報フィールドに関連した命名規則を実装しています理論。 QKがNoneでない場合

、その後も カルバック・ライブラー情報量として知られている相対的エントロピーを（計算または：ドキュメントから

scipy.stats.entropy(pk, qk=None, base=None) 

http://docs.scipy.org/doc/scipy-dev/reference/generated/scipy.stats.entropy.html

：関数は、 "エントロピー" でありますKullback-Leibler distance）S = sum（pk * log（pk/qk）、axis = 0）。

また、この関数のボーナスは、合計すると1にならないベクトルを正規化するということです（ただし、渡す配列には注意する必要があります。データから構築される）。

これは役に立ちます。少なくとも、ライブラリで提供されているので、独自のコードを作成する必要はありません。