私はコンピュータビジョンの深い学習上のいくつかの研究をやっているコンボリューション神経ネットワーク</p> <p>のアーキテクチャを決定する方法畳み込み神経回路網

Question

のアーキテクチャを決定する方法。

私は、ニューロンネットワーク、バックプロパゲーション、確率的勾配降下、オーバーフィット、正規化などがどのように機能するかについてたくさん読んでいます。 「難しい」数学的なルールがあります：それは理解しやすいです。

しかし、畳み込みニューロンネットワークに必要なアーキテクチャーを知りたいのですが？ Exmapleの場合 ：私はこれらの植物を分類したい： http://www.biohof-waldegg.ch/Bilder/Blacke%201%20(Individuell).JPG

私はmnistデータベース（手書き数字データベース） で例を研究している - なぜほとんどの例にこれらのアーキテクチャを使用します。コンベンションの5x5の - >プール（2、最大） - > Conv5x5？ は、私は最初の隠れ層の重みをプロットしているが、画像フィルタは、私にとって非常に 精通していないに見えます（また、エッジ検出のためのハイパスフィルタ、ものような低域通過フィルタのように）

• は、それが優れていますレイヤーにさらに多くのフィーチャーマップを追加したり、隠れたレイヤーを追加したりできますか？
• ネットワークが深すぎる/浅すぎるかどうかを確認するには
• レイヤに機能マップが多すぎるか小さすぎるかを確認するにはどうすればよいですか？
• カーネルサイズが大きすぎるか小さすぎるかをどのように判断できますか？
• 私はconv - > conv - > conv - > pooling - > convの代わりにconv - を選んだとき、
• ストライドパラメータにはどのような影響がありますか？ （私は、このパラメータが何を知っているではなく、いつ、どのように私はこれらのパラメータを調整する必要がありますか？
• 層（例えば、エッジ/色/形状）

？検出されていますどの をチェックする方法があります

Answer 1

実績のあるルールはこれが未解決の問題であるニューラルネットワーク（またはCNNs）を構築する方法を、何の困難はありません

なぜほとんどの例にこれらのアーキテクチャを使用します。。コンベンションの5x5の - >プール（2、max）は - > Conv5x5

これは当てはまりません。後続のプール層は知覚的な領域を任意のサイズに拡大するため、ほとんどのアーキテクチャでは3x3のプールが使用されます。経験的に、一部の研究者（例：Rethinking the Inception Architecture for Computer Vision）は、これらの方がうまくいくことを発見しました。

は、どのように私は、ネットワークが浅すぎる/深すぎるかどうかを判断することができます

• 推論が遅すぎる - >ネットワークが深すぎる
• 精度が低すぎる - >深さは、

は、どのように私は、カーネルのサイズが小さすぎる/大きすぎるかどうかを確認することができます助けることができますか？

デフォルトでは3x3を使用してください。その理由は、Rethinking the Inception Architecture for Computer Visionを参照してください。

いつconv -> pooling -> convの代わりにconv -> conv -> poolingを選択しましたか？

私はむしろconv -> conv -> poolingの代わりconv -> poolingを記述し、それゆえの質問は、私は私が持っている必要がありますどのように多くのその後の畳み込み層決めるんか」である。ここでも、これは未解決の問題である。ほとんどの人は2または3以降の畳み込み層を選択してくださいしかし、最後に、「ちょうどそれを試してみてください」に煮詰めるようだ。（より多くの工学的手法がある場合は私に知らせてください！）

影響をストライドパラメータを持って何？

ストライドは、出力フィーチャマップのize。したがって、あなたのメモリフットプリントを大きく（* 1/stride^2）減らします。

レイヤーが検出している機能を確認する方法はありますか？

Zeiler &ファーガス：Visualizing and Understanding Convolutional Networks