より多くのSpatialDropoutsでより低いmseを得ることはもっともらしいですか？

Question

私は他のすべて5つのConvolutional2D層のそれぞれの後に

SpatialDropout2D(0.2) 

層で、トレーニングおよびバリデーションエラーが（これらのドロップアウト層なしで同じネットワークを持つよりも、最初の数エポックの間にはるかに低いことを観察してきました等しい）。これは、中間結果がランダムに削除された場合、最適化ルーチンが最小限の問題を発見することを期待しているので、直感的ではないようです。

私の見解は妥当ですか？もしそうなら、なぜですか？

Answer 1

一般に、ドロップアウトはオーバーフィッティングと戦うために使用されるテクニックの1つです。テストエラーを減らすことが期待されますが、トレーニングエラーは低減されません。逆に、モデルが過大になるのを止めると、訓練エラーが増える可能性があります。

ドロップアウトの詳細については、Deep Learning textbook、セクション7.12をお読みください。