マルチクラス分類のコスト関数とは何ですか？

Question

私は、ニューラルネットワークの損失関数が何であるかを知るのが難しいです。バイナリ分類問題の場合、次のビデオで説明されているように、平均自乗誤差ですか：https://www.youtube.com/watch?v=5u0jaA3qAGk&t=59sまたはここで定義されているクロスエントロピーで、http://work.caltech.edu/slides/slides09.pdfですか？

また、マルチ分類の場合、ソフトマックスのようなものがあると思いますが、その仕組みは分かりません。誰かが私を正しく説明できますか？

ありがとうございます！

Answer 1

理論的には、損失関数を使用してニューラルネットワークを構築することができます。平均二乗誤差またはクロスエントロピー損失関数を使用できます。それは最も効果的になるものにまで沸き立っています。最も効果的なのは、パラメータをより迅速かつ/またはより正確に学習できるようにすることです。実際には、ほとんどのニューラルネットワークはクロスエントロピーを使用する傾向があります。多くの初心者のクラスと神経回路網のチュートリアルでは、二乗誤差の平均値が表示されます。これはおそらく最初は分かりやすく直感的です。

このarticleは、より詳細にそれを説明しますが、引用させて頂いて：

我々は代わりに二次コストのクロスエントロピーを使用すべきですか？ 実際には、クロスエントロピーはほとんど常により良い選択である、 出力ニューロンを提供するソフトマックス機能についてシグモイドニューロン

です。ご存じのように、すべてのニューロンには活性化機能があります。非常に多くの場合、その関数はシグモイド関数です。 softmax関数は、通常、ニューラルネットワークの最後の層で使用される別のタイプのアクティベーション関数です。 softmax関数には固有のプロパティがあります。出力は0から1の値になり、レイヤー内の各ニューロンのすべての出力の合計は1に等しくなります。効果的に確率を示します。そして、これはあなたに各クラスの確率を与えるので、マルチクラスの分類には非常に適しています。そして、あなたは最も高い確率でクラスを選ぶことができます。