ReLuよりSigmoidアクティベーションを使用する方が良い場合がありますか

Question

私は入力をエンコードするためにRNNを使用する複雑なニューラルネットワークアーキテクチャを訓練しています。

私は現在、深いニューラルネットワークの部分（ユニットの数と隠れた層の数）を最適化しています。

現在、すべてのレイヤーでシグモイド活性化を使用しています。これはいくつかの隠れたレイヤーでは問題ないようですが、レイヤーの数が増えるにつれて、シグモイドは最良の選択ではないようです。

最初にSigmoidのためのハイパーパラメータの最適化を行う必要があると思いますか、ReLuを使うか、ReLuを直接使うのが良いですか？

また、Relaxを最初の隠れ層に、最後の隠し層のみをSigmoidにすると、softmax出力があると考えられますか？

Answer 1

個別にハイパーパラメータを最適化することはできません。最終的に最適な解がXレイヤーとYノードであるからといって、すべてのアクティベーション関数、調整戦略、学習率などに当てはまるわけではありません。これが最適化パラメータを厄介にしています。そのため、ハイパーパラメータの最適化のためのライブラリもあります。私はあなたが「ランダム検索の最適化」の概念を読んで始めてみることをお勧めします。