バッチ正規化によるオーバーフィッティング[テンソルフロー]？

Question

私は中規模のconvネットを持っていますが、バッチ正規化ですっきりとしています。バッチの正規化の効果は非常にポジティブです（10倍以上の訓練速度とはるかに向上した精度）。

しかし、訓練と検証/テストセットの間には10％に近い精度の格差が大幅に増加しています。これは邪魔です。この隙間は、訓練中ゆっくりと盛り上がる。

BN実装では、標準TF指数移動平均を使用します。これは問題ではないようです。検証とトレーニングの両方が同じ統計を共有しており、テストセット統計に向かって移動平均を「コールドウォームアップ」することも試みました。この手順は効果がなかった。 また、BNがうまく動作するためには、I2の正則化と脱落の両方を無効にする必要がありました。

誰もが似たようなことに遭遇しましたか？何か案は？ 「より標準的な」正則化をBNネットワークに追加する方法についての提案はありますか？

Answer 1

実行平均と分散の不適切な計算のため、バッチ正規化がオーバーフィッティングのようです。これは、データセットの実行中の最後のバッチがバッチの残りの部分よりもずっと小さく、エラーが複数のエポックに累積する場合にはうれしいことです。

最後のバッチが残りのバッチと同じサイズになっていることを確認します。最後のバッチを無視するだけです。