ステップ関数対シグモイド関数

Question

なぜシグモイド関数がステップ関数よりも（ニューラルネットワークの）有用性が高いと思われますか？前もって感謝します。

Answer 1

(Heaviside) step functionは、入力データがlinearly separableである場合の分類に使用できる初期のタイプのニューラルネットワークである場合にのみ通常役に立ちます。

しかし、multi-layer neural networks or multi-layer perceptronsは一般的な関数近似であり、線形に分離できないデータを区別することができるため、より重要です。

多層パーセプトロンは、backpropapagationを使用して訓練されています。バックプロパゲーションの要件は、differentiableアクティブ化機能です。バックプロパゲーションでは、この機能でgradient descentを使用してネットワークの重みを更新するためです。

ヘビサイドのステップ関数は、x = 0の非微分であり、その誘導体は、他の場所あります。これは、勾配降下がウェイトの更新を進めることができず、バックプロパゲーションが失敗することを意味します。

sigmoid or logistic functionにはこの欠点がなく、これはニューラルネットワークの分野での活性化機能としてのその有用性を説明している。

Answer 2

これは、処理している問題によって異なります。単純なバイナリ分類の場合、ステップ関数が適切である。シグモイドは、ノイズや不確実性を導入してより生物学的に現実的なネットワークを構築する際に役立ちます。シグモイドの別のしかし完全に異なる使用は、数値継続、すなわちモデル内のいくつかのパラメータに関する分岐解析を行う場合である。滑らかなシステムでは数値の継続が簡単です（滑らかでないシステムでは非常にトリッキーです）。