PReLUでBatchNormを使用してパフォーマンスを改善できますか？

Question

BN-Scale-ReLU 

私はPReLUでReLUを交換したいが、次のように私は、ネットワークを持っています。それで、それはでしょう

BN-Scale-PReLU 

私は2番目の設定で任意の利得を得ることができますか？どうして？私が検索すると、2番目の設定はあまり人気がありません。いくつかの論文では、彼らはBN-Scale-ReLU = PReLUに取って代わりました。そうですか？

Answer 1

これらの選択肢を評価する論文があります：https://arxiv.org/pdf/1606.02228.pdf。 PReLUを使用することで精度が向上しますが、これはごくわずかです。 ReLUの代わりにPReLUを使用することで、改善が高い作業負荷を相殺するかどうかはわかりません。問題は、あなたがすでにその最後のパーセンテージポイントを正確に評価しているかどうかです。そうでない場合は、モデルのパフォーマンスに軽微な影響しか及ぼさない選択肢についてはまだ気にしないでください。