多くの状態の公称変数モデリング

Question

ニューラルネットワークについて読んでいて、これを見つけました： "多くの状態の名目変数は扱いが難しいですが、ST Neural Networksは2状態と多数状態の名目変数残念なことに、多数の状態を持つ名目変数は、1対Nの符号化に膨大な数の数値変数を必要とし、ネットワークサイズを大きくし、トレーニングを困難にする可能性があります。単一数値インデックスを使用して名目変数をモデル化する（しかし、満足できるものではありませんが）より良いアプローチは、情報を表現する別の方法を探すことです。

これは入力レイヤを構築するときに起こっていることです。 One-of-Nエンコーディングは、モデルを非常に複雑に設計しています。しかし、上では数値インデックスを使用することができますが、私はそれが何を意味するかはわかりません。情報を表現するためのより良いアプローチは何ですか？ニューラルネットワークは、多くの状態の名目変数の問題を解くことができますか？

参考資料：このタスクを解決することは非常に頻繁にモデル化するために重要である http://www.uta.edu/faculty/sawasthi/Statistics/stneunet.html#gathering

Answer 1

。この公称変数の分布の複雑さに依存して、値の間に適切な埋め込みといくつかのnのためのR^nを見つけることが非常に頻繁に重要です。

このような埋め込みの最も成功した例の1つは、単語とベクトルの間の関数が得られるword2vecです。それ以外の場合は、準備ができている解決策があればそれを使うか、表現力豊かな学習で自分で準備するか（例えばオートエンコーダーやRBM）