入力正規化の代わりにバッチ正規化

Question

入力レイヤの直後にバッチ正規化レイヤを使用し、データを正規化しないことはできますか？同様の効果/性能が期待できますか？機能kerasで

それはこのようなものになるだろう：

x = Input (...) 
x = Batchnorm(...)(x) 
... 

Answer 1

あなたはそれを行うことができます。しかし、Batchnormについての素晴らしい点は、アクティブ化分布の安定化に加えて、ネットワークの学習時に平均と標準偏差が移行する可能性が高いことです。

効果的には、入力層の直後にバティックを設定すると、データ前処理のステップになります。これは、時には多くの場合に役立ちます（たとえば、線形回帰）。しかし、トレーニングサンプル全体の平均と分散を一度に計算する方が、バッチごとに学習する方が簡単で効率的です。 batchnormはパフォーマンス面で自由ではなく、あなたはそれを悪用すべきではないことに注意してください。