相互情報に基づく特徴抽出方法はありますか？

Question

私は800個の入力フィーチャと1つの連続出力を持つデータセットD = {X、y}を取得しました。私は2つの条件

を満たす任意の特徴抽出方法を探しています

（1）Matlabのコードがダウンロードできます

（2）。この方法では、z_iとyとの間の相互情報ができるだけ高くなるように、入力xを変換された入力z（zはdベクトル）に何らかの形でマッピングする必要があります（d < < 800）。

CCA（X、y）を実行するとき、メソッドはCCAに関連する必要があると思いますが、私はベクトルzを1次元だけ持つことになります。私はメソッドがPCAのような優れた機能を選択するオプションを持っていることを願っています。

おかげで、

Answer 1

これは、EM-のような反復アルゴリズムや発見的に貪欲、凝集クラスタリング処理によって、いくつかのケースで解決することができる「情報Buttleneck」問題のフレーミングです。

有用な参考文献：

• Wikipedia
• Paper
• MATLABコード：(1) by G. Chechik又は(2) in the VLfeat library

実際、それはCCAに深く関係しています。問題の特定の仮定（すなわち、ガウス性）の下で、この関係を正確にすることができる（Wikipediaのリンクおよびthis paper参照）。