クラシファイアニューラルネットワークの最後のレイヤーは、シグモイドとソフトマックスの両方を使用していますか？

Question

分類子ネットワークの非表示レイヤーは、非線形性を導入してデータを正規化するためにシグモイドまたは別のアクティベーション関数を使用しますが、最後のレイヤーではsoftmaxと組み合わせてシグモイドを使用しますか？

私はそれが重要ではなく、ネットワークはどちらの方法でも訓練されると感じていますが、softmaxレイヤーだけを使用する必要がありますか？またはシグモイド関数を最初に適用する必要がありますか？

Answer 1

一般に、softmax出力レイヤーの直前に追加のシグモイドアクティベーションが発生することはありません。シグモイド関数はa partial case of softmaxなので、値を[0, 1]区間に2回連続してスカッシュすると、ほぼ均一な出力分布になります。もちろん、これを伝播することはできますが、それはずっと効率が悪いでしょう。

ところで、あなたがReLuを使用しないことを選択した場合、tanhは必ずS字形よりa better activation functionです。