1ニューロンのように2ニューロンの多層ニューラルネットはちょうど同じですか？

Question

ANDロジックとORロジックはちょうど1ニューロンで解決できます。しかし、XORロジックは2層に3個のニューロンの神経回路網を必要とする：

(neuron1)\ 
      \ 
      +----- (neuron3) 
     /
(neuron2)/ 

は、ニューラルネットワークのこのフォームを考えてみましょう：

(neuron1) ------- (neuron2) 

は相互に接続するだけで2ニューロンとニューラルネットワークのこの種ですただ1つの単一ニューロンよりも優れたものを解決することができますか？

Answer 1

2ニューロンは1ニューロンよりも強力です。

たとえば、標準でrectifier nonlinearity max（0、x）の2つのニューロンを考えてみましょう。

入力をxとします。

最初のニューロンは

第ニューロンが計算Z = MAX（0,1-Y）

画像は、Y（緑）をプロットし、1-Y Y = MAX（、X 0）（計算します赤）、x（青）。

これは（青い線で表される）は、より複雑な飽和非線形性を構築することができる単純な整流器を用いてどのように2個のニューロンの両方を示しています。

単一の出力で動作する単一の整流ニューロンで青い線を生成する方法はありません（そのような出力はすべて最大2つの線形セグメントを持ち、z出力は3つの線形セグメントを持つためです）。