CNNを訓練するときにイメージの平均を計算するのはなぜですか？

Question

イメージ分類にcaffeを使用すると、イメージ平均を計算することがよくあります。それはなぜですか？

誰かが正確性を向上させることができると言いましたが、なぜこのようにすべきか理解できません。

Answer 1

ディープラーニングの画像ホワイトニングテクニックを参照してください。実際には精度を向上させるが広く使われていないことが証明されている。

機械学習方法を適用する前に、データを正規化するという考え方が役立つ理由を理解する。データを同じ範囲に保つのに役立ちます。実際、バッチ正規化であるCNNで現在使用されている別の方法があります。

Answer 2

ニューラルネットワーク（CNNを含む）は、勾配降下で最適化しようとする何千ものパラメータを持つモデルです。それらのモデルは、ノードに非線形性φを持たせることで、多くの異なる機能に適合することができます。非線形活性化機能がなければ、ネットワークは合計で一次関数に崩壊する。これは、最も興味深い問題に対して非線形性が必要であることを意味します。

φの一般的な選択肢は、ロジスティック関数、tanhまたはReLUです。それらのすべてが0の周りで最も興味深い領域を持っています。これは、勾配が急速に学習するのに十分か、ReLUの場合には非直線性がどこにあるかです。 Glorot initializationのようなウェイト初期化スキームは、最適化のための良い点でネットワークを開始しようとします。 Batch Normalizationのような他のテクニックでも、ノード入力の平均値は0のままです。

したがって、最初のコンピューティングノードが「うまく動作する」データを取得するようにイメージの平均を計算し（減算して）平均値は0であるため、直感的には最適化プロセスに役立ちます。

理論上、ネットワークはそれ自体で平均を「減算」することができます。だから十分に長く訓練すれば、これはあまり重要ではありません。しかし、活性化関数に依存して、「十分に長い」ことが重要であり得る。