カルバック・ライブラー（KL）距離 - MATLAB

Question

function [ d ] = hcompare_KL(h1,h2) 
%This routine evaluates the Kullback-Leibler (KL) distance between histograms. 
%    Input:  h1, h2 - histograms 
%    Output: d – the distance between the histograms. 
%    Method: KL is defined as: 
%    Note, KL is not symmetric, so compute both sides. 
%    Take care not to divide by zero or log zero: disregard entries of the sum  for which with H2(i) == 0. 

temp = sum(h1 .* log(h1 ./ h2)); 
temp(isinf(temp)) = 0; % this resloves where h1(i) == 0 
d1 = sum(temp); 

temp = sum(h2 .* log(h2 ./ h1)); % other direction of compare since it's not symetric 
temp(isinf(temp)) = 0; 
d2 = sum(temp); 

d = d1 + d2; 

end 

私の問題は、H1（i）又はH2（I）== 0 iは期待通りにあるinfファイルを取得していたときにということです。しかし、KL距離では、h1またはh2 == 0のときはいつでも0を返すと思われます。ループを使用せずにどうすればいいですか？

Answer 1

カウントのいずれかが0であるときの問題を回避するために、私はあなたが「良い」データポイントをマークしたインデックスを作成するお勧め：

%# you may want to do some input testing, such as whether h1 and h2 are 
%# of the same size 

%# preassign the output 
d = zeros(size(h1)); 

%# create an index of the "good" data points 
goodIdx = h1>0 & h2>0; %# bin counts <0 are not good, either 

d1 = sum(h1(goodIdx) .* log(h1(goodIdx) . /h2(goodIdx))); 
d2 = sum(h2(goodIdx) .* log(h2(goodIdx) . /h1(goodIdx))); 

%# overwrite d only where we have actual data 
%# the rest remains zero 
d(goodIdx) = d1 + d2; 

Answer 2

私はあなたの実装では、いくつかの間違ったを参照してください。 LOG2

Answer 3

KL（H1、H2）はKL（H2、H1）と異なっていることを

d=sum(h1.*log2(h1+eps)-h1.*log2(h2+eps)) 

注意を使用してみてくださいでログイン編集してください。あなたの場合はKL（h1、h2）でしょうか？ 私はあなたの実装が間違っていると思います。 h1とh2の間の距離ではありません。 H1とH2の間のKL距離は

KL(h1,h2)=sum(h1.log(h1/h2))=sum(h1.logh1-h2.logh2). 

を定義しているので、正しい実装が

d=sum(h1.*log2(h1+eps)-h1.*log2(h2+eps)) %KL(h1,h2) 

または

d=sum(h2.*log2(h2+eps)-h2.*log2(h1+eps)) %KL(h2,h1)