線形対非線形ニューラルネットワーク？

Question

私は機械学習とニューラルネットワークを初めて利用しています。私は非線形分類モデルを構築する方法を知っていますが、私の現在の問題は連続的な出力を持っています。私はニューラルネットワークの回帰に関する情報を探していましたが、私が遭遇するのはの線形回帰についての情報ではありません。非線形の場合です。とにかく単純な線形回帰を解くためにニューラルネットワークを使うのはなぜでしょうか？それは核爆弾で飛んで殺すようなものではない？

私の質問はこうです：ニューラルネットワークを非線形にするのは何ですか？ （非表示のレイヤー？非線形活性化関数？）また、線形回帰NNは、y = aX + bよりも複雑なモデルデータセットを正確にモデル化できるのですか？ 「線形」という言葉は、「ロジスティック」の反対の意味で使われていますか？

（私はTensorFlowを使用することを計画していますが、TensorFlow線形モデルのチュートリアルでは、例として、バイナリ分類問題を使用していますので、それはどちらか私を助けていません。）

Answer 1

手始めに、ニューラルネットワークをモデル化することができます任意の関数（線形関数だけでなく）これを見てください - http://neuralnetworksanddeeplearning.com/chap4.html。

ニューラルネットワークには非線形活性化レイヤがあり、これはニューラルネットワークに非線形要素を与えます。

入力と出力を関連付ける関数は、ニューラルネットワークとそれが取得する量によって決まります。リニアな関係を持つ2つの変数を指定すると、オーバーフィットしない限り、ネットワークはこれを学習します。同様に、複雑な十分なニューラルネットワークは、あらゆる機能を学習することができる。

Answer 2

非線形回帰については、重みが出力にどのように影響するかを参照しています。関数が重みに対して線形でない場合、問題は非線形回帰問題です。例えば、隠れ層の活性化関数がある関数であり、出力層が線形活性化関数を持つ、1つの隠れ層を持つフィードフォワードニューラルネットワークを見てみましょう。この与えられた、数学的な表現は使用できます

我々はそれが簡単にするために、この表記法でスカラーとベクトルの 缶オペレータを想定

。 、、、およびは、回帰で推定することを目指している重量です。これが線形回帰の場合、はzに等しくなります。これは、yが線形依存で & に依存するためです。しかし、が非線形の場合、例えばのように、yは非線形に重み0,235,に依存します。

これまでのことをすべて理解しておけば、非線形のケースについて議論していないのは驚きです。なぜなら、これは教科書や研究ですべての人が話しているからです。確率的な勾配降下、非線形共役勾配、RProp、および他の方法のようなものを使用することは、一般的には最適ではないが、これらの非線形回帰問題に対して極小値（そして望ましくは極小値）を見つけるのを助けることである。

Answer 3

入力から出力への非線形性は、ネットワークを非線形にします。我々が通常神経ネットワークを考え、実装する方法では、それらの非線形性は活性化関数から来ています。

私たちが非線形データに適合しようとしており、線形活性化関数しか持たない場合、非線形データに対する最良の近似は線形であるため、これはすべて計算できます。 ノンリニアデータをリニアアクティベーション関数hereとだけ適合させようとしているニューラルネットワークの例を見ることができます。

我々は非線形ようReLu何かに線形活性化関数を変更する場合は、次に我々は、データのより良い非直線フィッティングを見ることができます。あなたはhereを見ることができます。

Answer 4

私は同じ苦闘をしましたが、ほとんどのオンラインコースではANNを分類に使用していますが、実際にコースで回帰問題を解決することはありません。

ANNを非線形にするにはどうすればよいですか？アクティベーション機能。

何千ものパーセプトロンと隠れユニットがあるANNを持っていても、すべてのアクティベーションが線形（または全くアクティブでない）であれば、単純な線形回帰をトレーニングしているだけです。

ただし、一部のアクティベーション関数（シグモイドなど）には、線形関数として機能する値の範囲があり、非線形アクティベーションでも線形モデルに固執することがあります。

ANNによる連続出力の予測方法は？あなたが分類するときと同じ方法。

エラー（ラベル予測）をバックプロパゲージして重みを更新するだけで同じ問題です。しかし、Cを忘れないでください出力層の活性化機能を連続機能にする（すべてのラベルが正の場合、または出力をまったく活性化しない場合はReLuかもしれません）、中間の隠れた層を有効にすることができます。

ANNの小さな回帰問題では、最初にエラーが「無制限」になるため、分散が非常に大きくなるため、小さな学習率で仮想化を開始する必要があります。

希望します。