ハイブリッドSOM（MLPあり）

Question

自己パーパスマップとマルチレイヤーパーセプトロンを正しく組み合わせる方法に関する情報を提供してもらえますか？

最近、私はこのテクニックに関するいくつかの記事を通常のMLPと比較して読んで、予測タスクの方が改善されました。したがって、入力データをクラスタリングし、その結果をMLPバックエンドに渡すことで、次元削減のフロントエンドとしてSOMを使用したいと考えています。

これを実装する私の現在の考え方は、いくつかのトレーニングセットでSOMをトレーニングし、クラスタを決定することです。その後、SOMクラスタと同数の入力ユニットでMLPを初期化します。次のステップは、SOMの出力（BMUの重み付け値）を使用してネットワークの入力（クラスタと一致する入力ユニットのSOMの出力と他の入力ユニットのゼロ）のようにMLPを訓練することです。

Answer 1

これを行う単一の方法はありません。いくつかの可能性を挙げましょう：

• しかし、あなたのMLPはK * D入力を持つ必要があります。ここで、Kはクラスタ数、Dは入力次元です。次元削減はありません。
• 考え方に似ていますが、ウェイトを使用する代わりに、BMUには1を、残りのクラスタには0を送信してください。 MLPにはK個の入力が必要です。
• 上記と同じですが、1または0の代わりに、入力ベクトルから各クラスタまでの距離を送信します。
• 上記と同じですが、距離の代わりに、各クラスタのガウスアクティベーションを計算します。
• SOMはトポロジを保存しているため、BMUの2D座標（おそらく0と1の間で正規化されている）のみを送信します。 MLPは2つの入力しか必要とせず、極端な次元削減を実現します。

これらのアイデアについては、Principal temporal extensions of SOM: Overviewで読むことができます。 SOMの出力をMLPに送るのではなく、SOM自体を出力することです。しかし、SOMから何らかの出力を出そうとするときには、さまざまな可能性を理解することができます。