数値のNN入力の正規化

Question

CNNの画像の正規化に関する多くの論文を読みました。 しかし、私はこの場合の答えを見つけられませんでした。 私の最初の層の入力は次の通りです： [1、4234、90420394.43、0] 正規化する必要がありますか？ 勾配降下は、重要なパラメータが何であるかを認識することができ、Wの行列でそれを処理する方法はないので、

最後に、私が実際にこれを正規化しなければならない場合、0と1の間の値ベクトルを持つでしょうか？ 情報が失われていませんか？ （これはちょうどリサイルであると思われるので、相対的な違いは同じであるため、この場合の問題は何ですか？）

Answer 1

答えはCNNの画像に固有のものではなく、一般的です。グラデーションの降下が正しく機能しなければならないというあなたの直感は正しいです。システムは自然に拡大することを学ばなければなりませんが、同じの入力を持つは、ネットワークをより速く収束させるのに役立ちますネットワークが収束しない可能性があります）。

さらに、正則化のような技法は、重み値を直接使用するため、アンバランスなスケールの影響を受ける可能性があります。

画像CNNでよく使用されるbatch normalizationもあり、入力値の正規化には関係しません。