畳み込みニューラルネットワークにおけるドロップアウトがコンバージェンスを妨げるのはなぜですか？

Question

私はテンソルフローを使用して、22000クラスの15000トレーニングイメージのセットを持つコンベネットをトレーニングしています。私は2つのconv層と1つの完全に接続された層を持っています。私は15000の画像でネットワークを訓練し、訓練セットの収束と高精度を経験しました。

しかし、私のテストセットはずっと低い精度を経験しているので、ネットワークが過ぎていると仮定しています。これと戦うために、ネットワークの完全に接続されたレイヤの前にドロップアウトを追加しました。

しかし、ドロップアウトを追加すると、ネットワークが多くの反復の後で収束することはありませんでした。なぜこれがあるのだろうと思っていた。私は高いドロップアウト確率（.9の確率を維持する）を使用しても、同じ結果を経験しました。

Answer 1

いいえ、ドロップアウト確率を0.9にすると、各繰り返しでそのニューロンの接続が10％低下する可能性があります。 ドロップアウトの場合も、最適値が必要です。あなたは私たちも私たちのニューロンをスケーリングしているドロップアウトして理解できる以上のように

。上記の場合は0.5ドロップアウトです。それがo.9であれば、再び異なるスケーリングが行われます。

基本的に0.9ドロップアウトの場合、0.9でスケールする必要があります。つまり、テストでは0.1の大きなものが得られます。

ちょうどこれによってドロップアウトがどのように影響を受けるかを知ることができます。だからいくつかの確率では、収束していない問題を引き起こすノードなどを飽和させる可能性があります。