「フィードフォワードネットワーク」と「完全接続ネットワーク」の違いは何ですか？

Question

時には私はこれらの2つの用語と混同しています。だから、私はこれを明確にするように頼みます。 「フィードフォワードネットワーク」は典型的なニューラルネットワークです。 その場合、「フィードフォワードネットワーク」とは、「完全に接続されたネットワーク」を含むより大きなスコープを意味しますか？ その場合、RNNまたはCNNは「フィードフォワードネットワーク」にも含まれていますか？ 私はそれはないと思う.. 私は明確な説明があることを望む。ありがとうございました。

Answer 1

彼らが本当に独立プロパティである：

• フィードフォワードネットワークはすなわち、それは再発ネットワーク（RNN）の反対である、無再発接続を持つネットワークです。勾配計算は、潜在的に、操作の無限の数を必要リカレントネットワーク内に対し、フィードフォワードネットワークで勾配が明確に定義され、backpropagation（すなわち鎖ルール）を介して計算するので、それは重要な区別である、あなたは、通常、制限しなければなりませんそれは一定のステップ数に制限され、いずれの場合もより高価になります（backpropagation through time参照）。
• 完全に接続されたネットワーク、または多分ネットワークにおけるより適切完全に接続された層は、すべての入力ニューロンは次の層内の各ニューロンに接続されているようなものです。これは、例えば、各出力ニューロンが入力ニューロンのサブセットに依存する畳み込み層と対照的である。

古典的なmultilayer perceptronは、完全に接続されたレイヤで構成されたフィードフォワードネットワークです。ほとんどのいわゆる「畳み込みネットワーク」は、フィードフォワードであり、いくつかの畳み込み層およびプール層から構成されているが、いくつかの完全に接続された層からも構成されている。 LSTMsなどの再発単位は、その内部構造が少し複雑かつ具体的であることから、おそらく一般的に、完全に接続されたとみなされていませんが、あなたは、すべての出力は、最終的には、いくつかのすべての入力に依存しているので、彼らは多少、しかし、あると言うことができますエクステント;しかし、それらは反復接続を提示するため、フィードフォワードされません。

Answer 2

フィードフォワードネットワークは、https://en.wikipedia.org/wiki/Feedforward_neural_network

CNNフィードフォワードネットワークである、RNNはない基準サイクルないネットワークです。実際にはRNNにもサイクルはありません。RNNがその概念を理解するためのサイクルを持っていると考えることができます。

技術ネットワークの一部の状態が畳み込み層と完全に接続された層の両方を含む、完全に接続された層において、ニューロンは、透過性層内のすべてのニューロンへの接続を有しています。畳み込み層では、各ニューロンは、前の層のいくつかのニューロン（カーネルサイズに依存する）にのみ接続します。