ニューラルネットワークにバイアスが必要なのはなぜですか？

Question

ニューラルネットワークには重みとオプティマイザがあります。
なぜ我々はW *入力して活性化を適用し、損失を見積もって最小化するのですか？
なぜW * input + bをする必要がありますか？

ありがとうございました！

Answer 1

バイアスがニューラルネットに役立つ理由を考えるには2通りの方法があります。最初のものは概念的なもので、2番目のものは数学的なものです。

ニューラルネットは、生物学的ニューロンにゆるやかに触発されています。基本的な考え方は、人間のニューロンがたくさんの入力を受け取り、それらを一緒に「追加」することです。入力の合計がある閾値よりも大きい場合、ニューロンは「発火」する（他のニューロンに行く出力を生成する）。この閾値は基本的にバイアスと同じです。このように、人工ニューラルネットの偏りは、実際の人間のニューロンの振る舞いを再現するのに役立ちます。

バイアスについて考えるもう1つの方法は、任意の線形関数y = mx + bを考えることです。たとえば、yを使って線形関数zを近似しているとします。 zがゼロ以外のz切片を持ち、yの方程式に偏りがない場合（y = mx）、yはzに完全にフィットすることはありません。同様に、ネットワーク内のニューロンにバイアス条件がない場合、ネットワークがいくつかの関数を近似するのは難しくなります。

ニューラルネットにバイアスが必要なわけではなく、実際に最近の開発（バッチ正規化など）によって畳み込みニューラルネットのバイアスが少なくなっています。