"relu"はtf.nn.reluで何を表していますか？

Question

API documentationに「整流線形を計算する」と書かれています。

それはRe（ctified）L（inear）...それではUは何ですか？

Answer 1

のRe（ctified）L（inear）（U）NIT

通常ニューラルネットワーク内の層は、いくつかの入力を有している、ベクターを言う、そしてベクターに即ち再び得、重み行列により乗算すること。

結果の各値（通常はfloat）は出力と見なされます。しかし、最近のニューラルネットワークのほとんどの層は非線形性を伴うため、これらの出力値に複雑さを加えるアドオン関数があります。長い間、これはシグモイドとタンです。

最近では、入力が負の場合は0、その入力が0または正の場合は入力そのものになる関数を使用します。この特定のアドオン機能（またはより良い「活性化機能」）は、reluと呼ばれます。

Answer 2

Frieselの答えの上に、Reluの2つの重要な機能を追加したいと思います。

1. 区別できない。

ルルのグラフ：それは魅力的ではなく、魅力的ではありません。

したがって、それは微分可能ではありませんf(x) = max(0,x) として定義されます。

2. ReLUの派生物は非常に簡単です！シグモイドよりも簡単です。x(1-x)です。

   のx> 0

   そうでない場合に

それは私たちが隠れ層に主に使用し、最も単純な非線形関数です。バックプロパゲーションがどれくらい簡単か考えてみてください！