4

私が気づいたように、畳み込みニューラルネットワーク(例えば、AlexNet)の多くの一般的なアーキテクチャでは、人々は、初期の層の以前に検出された特徴への応答を収集するために、なぜCNNの後半に通常複数のレイヤが接続されているのですか?

なぜ私たちは1つのFCを使用しませんか?なぜこの完全に接続されたレイヤーの階層構造はおそらくより有用でしょうか?

enter image description here

+3

私は後半のステップが先行するステップを非線形の方法で組み合わせるべきだと思います。もちろん、サイベンコの定理は成立しており、隠れ層は十分ですが、深層学習のどこでも同じように、より深い(より高い)ネットワークチャンスを交換して、より良い学習層/層を得ることを望みます。なぜこれがうまくいくのか、説明する仕事がたくさんあります。一般的な例は、より多くのレイヤーがうまく機能しているパリティ機能の学習機能です。 – sascha

+1

畳み込みレイヤーはフィーチャを抽出し、完全に接続されたレイヤーがフィーチャを結合して出力をモデル化します。しかし、完全に接続されたレイヤの数が多いほど、NNはより複雑で強力ですが、オーバーフィットのリスクは高くなります。注意:2Nニューロンと完全に接続されたレイヤーは1つで、Nニューロンを持つ2つのレイヤーと同じものをモデル化しません。 – FiReTiTi

答えて

1

ノーマル/実際にそのもはや人気。 2015+ネットワーク(Resnet、Inception 4など)では、グローバル平均プール(GAP)を最後のレイヤー+ softmaxとして使用し、同じパフォーマンスとマッハーモデルを提供します。 VGG16の最後の2つのレイヤは、ネットワーク内のすべてのパラメータの約80%です。しかし、2層MLPを分類に使用し、残りのネットワークを機能世代とみなすという共通の疑問に答えてください。 1レイヤーはグローバルな最小値と単純なプロパティを持つ通常のロジスティック回帰であり、2つのレイヤーは非直線性とSGDの使用方法をいくらか有用にします。

+0

あなたの最後の2つの文章をサポートする研究はありますか? – AHA

1

XORのように、単一のレイヤーではモデル化できない関数がいくつか存在するためです。このタイプのアーキテクチャでは、畳み込みレイヤーはローカルフィーチャーを計算しており、完全に接続された出力レイヤーはこれらのローカルフィーチャーを結合して最終出力を導き出しています。したがって、完全に連結されたレイヤーを半独立型フィーチャを出力にマッピングします。これが複雑なマッピングである場合は、複数のレイヤの表現力が必要な場合があります。

関連する問題