生成的な対立ネットワークtanh？

Question

私はGAN（MNISTの少なくとも）のモデルのほとんどで、（識別器と発電機のための）活性化関数がなぜtanhであるのだろうと思いましたか？ ReLuはより効率的ですか？ （私は常に予測ネットワークのためにそれを読む）

ありがとう！

Answer 1

場合によっては、アクティベーションの対象となる範囲によって異なります。 ML文学で "ゲート"が聞こえると、0と1の間にあるシグモイドが見えるでしょう。この場合、活性化が-1と1の間になるように、タンを使います。 This pageはtanhを使用すると言いますが、説明はしていません。 DCGANは、ジェネレータの出力を除き、ReLUsまたは漏れやすいReLUsを使用します。意味があります - 埋め込みの半分がゼロになるのはどうですか？ -1と1の間でスムーズに変化する埋め込みをする方が良いかもしれません。

わかりませんので、他の人の意見を聞いてみたいと思います。

Answer 2

DCGAN論文[Radford et al。 https://arxiv.org/pdf/1511.06434.pdf] ...

「ReLU活性化（ナイール&ヒントン、2010）TANH関数を使用して出力 層を除いて発電に使用されている。我々は、制限された活性化を使用するためにモデル を許容することが観察され 弁別器内では、漏れ整流された活性化（Maas et al。、2013）（Xu et al。、2015）が をうまく処理することを発見しました。特に高分解能これは、 がmaxout活性化を使用した元のGAN論文（Goodfellow et al。、2013）とは対照的です。

ネットワークは、より暗い色と明るい色を対称的に扱う必要があるため、ここではtanhの対称性が有利な場合があります。