レイヤ正規化をCNNで使用できますか？

Question

レイヤ正規化は、バッチ正規化よりも現代の正規化メソッドであり、Tensorflowでのコーディングは非常に簡単です。 しかし、レイヤの正規化はRNNとCNNのバッチ正規化用に設計されていると思います。 画像分類タスクを処理するCNNでレイヤ正規化を使用できますか？ バッチ正規化またはレイヤーを選択する基準は何ですか？

Answer 1

CNNでLayer normalisationを使用できますが、私はBatch Normよりも「近代的」ではないと思います。彼らは両方とも異なって正規化する。 Layer normは、レイヤ内のすべてのユニットからの統計情報を収集することによって、バッチ内の単一ユニットのすべてのアクティベーションを正常化し、batch normは、1回のアクティブ化ごとにバッチ全体を正常化します。それはlayer norm単位ガウスへのすべてのアクティベーションの「平均値」を取得しようとしながら、ユニットガウス分布にすべての活性化を正規化しようとして

Batch normは一般layer normより好ましいです。しかし、バッチサイズが合理的な統計を収集するには小さすぎる場合は、layer normが好ましい。

Answer 2

、またCNNs

用ヘッドアップ「より多くの研究が行われなければならないこと」original paper for Layer Norm, page 10 section 6.7で述べたように、私はまた、レイヤのノームが使用されることをお勧めされていない、追加したい、と著者は言います - RNNの場合、レイヤーノルムは、同じミニバッチでトレーニングケースが異なる長さになる可能性があるため、バッチノルムよりも良い選択と思われます。