ニューラルネットワークにおける回帰モデルの出力層の活性化機能

Question

最近、ニューラルネットワークを実験しています。私は使用する活性化関数に関する一般的な質問に出くわしました。これはよく知られている事実かもしれませんが、私は正しく理解できませんでした。私が見てきた多くの例と論文は、分類問題に取り組んでいます。出力層の活性化関数として、シグモイド（バイナリの場合）またはsoftmax（マルチクラスの場合）を使用しています。しかし、私は、回帰モデルの出力層で使用されているアクティブ化関数を見ていません。

私の質問は、起動機能が値に制限をつけたり制限したりしないように、回帰モデルの出力レイヤーでアクティベーション機能を使用しないことです。出力値は任意の数とすることができ、何千もの大きさにすることができるので、sigmoidからtanhのような活性化関数は理にかなっていません。それとも他の理由がありますか？あるいは、実際には、これらの種類の問題のために作られた活性化機能を使用することができますか？

Answer 1

あなたのNNの出力層の活性化関数として、たとえば、シグモイドをお持ちの場合はデータyour'reを予測しようとする場合は、任意の値が0未満と基本的には1

より大きく得ることはありませんその範囲内に分布している場合は、Sigmoid関数を使用してアプローチし、予測がトレーニングセットでうまくいくかどうかをテストします。

さらに一般的に、データを予測するときは、最も効果的な方法でデータを表す関数を思いつくべきです。

実際のデータがシグモイド関数によく合わない場合は、他の関数（多項式関数や周期関数など）やその他の関数を考える必要がありますが、あなたはコスト関数を構築し、派生物を評価します。