RNN/lstm RNNでバッチ正規化を使用するのは通常ですか？

Question

私は深い学習の初心者です。定期的なニューラルネットでは、起動前にバッチノルムを使用しており、体重の初期化に依存しないようにしています。 RNN/lstm RNNと同じことをするかどうかは分かります。誰もそれについて何か経験がありますか？ありがとうございました。

Answer 1

いいえ、バッチごとに統計が計算されるため、リカレントニューラルネットワークでバッチ正規化を使用することはできません。ネットワークの繰り返し部分は考慮しません。重みはRNNで共有され、各「リカレントループ」のアクティベーション応答は完全に異なる統計的特性を持つことがあります。

これらの制限を考慮したバッチ正規化と同様のその他の手法、たとえばLayer Normalizationが開発されています。