プレトレーニングはどのようにニューラルネットワークの分類を改善するのですか？

Question

私がこれまでに読んだ論文の多くは、この「事前トレーニングネットワークがバックプロパゲーションエラーの計算効率を向上させることができる」というもので、RBMまたはオートエンコーダーを使用して達成することができました。

1. 私が正しく理解している場合は、オートエンコーダは 恒等関数を学習することで動作し、それが 入力データのサイズよりも少ない隠れユニットを持っている場合、それはまた、圧縮を行いますが、何本も を持っていません エラー信号を逆方向に伝播する際の計算効率を向上させることとは何か？これは、事前に の訓練された隠れユニットの重みが初期値から大きく外れないためですか？これを読んでいるデータ科学者はtheirselves が 以来、彼らは 教師なし学習とみなされ恒等関数を、学習しているが、このような方法を 畳み込みに適用することができますオートエンコーダは、目標値として入力を取ることをすでに知っているだろうことで仮定し

2. 最初の隠れ層が フィーチャマップであるニューラルネットワーク？各フィーチャマップは、学習された カーネルとイメージ内の受容野とを畳み込むことによって作成されます。この学習されたカーネルは、どのように がこれを予備トレーニング（監督されていない方法）によって得ることができますか？

Answer 1

注意すべき点の1つは、オートエンコーダーがを認識しようとしていることです。識別関数ではなく、識別関数そのものではありません。さもなければ、彼らは全く役に立ちませんでした。まあ、事前トレーニングは、がエラー表面上の良い出発点に向かってウェイトベクトルを動かすのを助けます。次に、基本的に勾配降下を行っているバックプロパゲーションアルゴリズムが、これらの重みを改善するために使用されます。勾配降下は、局所極小を閉鎖したままになることに注意してください。

[、掲載画像に用語グローバルミニマを無視し、別と考えるより良い、極小値]

直感的に言えば、あなたが取得するための最適なパスを探していると仮定原点からから宛先までです。経路が表示されていないマップ（ニューラルネットワークモデルの最後の層で得られたエラー）はどこに行くのかを示します。しかし、あなたは、多くの障害、丘や丘の上を歩く道に身を置くかもしれません。次に、誰かが以前に行った方向（事前トレーニング）と新しいマップ（事前=トレーニングフェーズの出発点）を経路について教えてくれるとします。

これは、ランダムウェイトから開始し、バックプロパゲーションを使用してモデルを最適化し始める直前に、訓練されたモデルで得られるパフォーマンスを達成するのに役立つとは限らないという直感的な理由になります。しかし、最先端の結果を達成する多くのモデルが事前トレーニングを必要とせず、他の最適化手法（例えばadagrad、RMSProp、Momentumなど）と組み合わせてバックプロパゲーションを使用して、うまくいけば回避することができますが悪いローカルミニマに詰まっています。

Hereの第二の画像のためのソース。

Answer 2

私はオートエンコーダ理論について多くを知らないが、私はRBMのと仕事のビットをやりました。 RBMが行うことは、右ボールパークに初期化されたウェイトを得るために特定のタイプのデータを見る確率を予測することです。これは、（教師なしの）確率モデルと見なされるため、既知のラベル。基本的に、ここでの考え方は、学習率が大きすぎると収束につながることはないが、小さすぎる学習は永遠に訓練にかかるということです。したがって、このように「プレトレーニング」を行うことで、ウェイトのボールパークを見つけ出し、学習率を最適な値に下げるために、ウェイトを小さく設定できます。

2番目の質問については、いいえ、あなたは一般的に、監督されていない方法ではなく、一般的にカーネルを先読みしません。私は、ここで事前訓練が意味するものは、あなたの最初の質問とは少し違うと思っています。つまり、起こっていることは、彼らが事前にモデル化されたモデル（モデル動物園から）を取り、のデータ。

どのモデルを使用するかは、お持ちのデータの種類と手作業によって異なります。 Convnets私はより速く効率的に訓練することがわかっていますが、畳み込まれるとすべてのデータが意味を持つわけではありません。その場合、dbnsが行く方法かもしれません。そうでない限り、データ量は少なく、ニューラルネットワーク以外のものを使用します。

とにかく、これがあなたの質問の一部をクリアするのに役立つことを願っています。