固定データセットの2つのクラシファイア間の相互情報の計算

Question

ウェブを検索した後、私の質問に答えがありません。たとえば、2つのクラシファイア間のエントロピーを計算できる数式があります。

どのように相互情報を計算できますか？

Answer 1

2つのランダム変数XとYがあるとします。これら2つの統計の変数間の相互情報がH(X)が可変Xの エントロピーI(X,Y) = H(X) + H(Y) − H(X,Y)によって定義され、H(X,Y)は両方の変数の結合エントロピーであり、H(Y|X) = H(X,Y) − H(X)変数の値が与えられた変数Yの不確実性を測定条件 エントロピーX。これらの2つの変数の間のMIは、他の変数の値が与えられたときの1つの変数の不確実性減少量を測定します。