どのようにしてエントロピーを生み出すことができますか？私は、アレイからのエントロピーを計算しようとしています

Question

しかし、このENT1がNaNを返します

mu1, sigma1 = 0, 1 
s1 = np.random.normal(mu1, sigma1, 100000) 
hist1 = np.histogram(s1, bins=100, range=(-20,20), density=True) 
data1 = hist1[0] 
ent1 = -(data1*np.log(np.abs(data1))).sum() 

によってnp.histogramから生じました。ここでの問題は何ですか？

Answer 1

問題は、ヒストグラムにゼロの確率があり、シャノンのエントロピー公式を適用するときに数値が意味をなさないことです。解決策は、ゼロ確率を無視することである。

mu1, sigma1 = 0, 1 
s1 = np.random.normal(mu1, sigma1, 100000) 
hist1 = np.histogram(s1, bins=100, range=(-20,20), density=True) 
data1 = hist1[0] 
non_zero_data = data1[data1 != 0] 
ent1 = -(non_zero_data*np.log(np.abs(non_zero_data))).sum() 

Answer 2

エントロピーを計算するには、scipy.special.entrを使用できます。例えば、

In [147]: from scipy.special import entr 

In [148]: x = np.array([3, 2, 1, 0, 0.5, 2.5, 5]) 

In [149]: entr(x).sum() 
Out[149]: -14.673474028700136 

その結果を確認するために、我々はまた、scipy.special.xlogyを使用してエントロピーを計算することができます。

In [152]: xnz = x[x != 0] 

In [153]: -(xnz*np.log(xnz)).sum() 
Out[153]: -14.673474028700136 

：

In [150]: from scipy.special import xlogy 

In [151]: -xlogy(x, x).sum() 
Out[151]: -14.673474028700136 

最後に、私たちは、それはあなたが期待するのと同じ結果であることを確認することができます