どのように動作するのですか？ニューラルネットワークの整流された線形ユニット

Question

上記のアルゴリズムがどのように働くかは誰にでも分かります。理論的には私はそれを得るが、私はデモンストレーションが必要だ。シンプルな2x2の行列ができます。あなたが私を助けてくれることを願っています。これは私が取っているディープラーニングコースと関連しています。

Answer 1

ReLUは単純関数である：

F（X）= MAX（0、x）は

あなたがマトリックスを有している場合：

X = [0,3]、 [-2,7]] ----> f（X）= [[0,3] [0,7]]

逆方向パスの間、勾配は入力の正の要素マトリックス。前の例について得られた勾配マスクは、次のようになります。

X = [[0,3]、[ - 2,7]] ----> df（X）/ d（X）= [[0、 1] [0,1]

ReLUの誘導体は、X = 0のために定義されていないので、別の有効なマスクがされている可能性が：

DF（X）/ dXを= [C 1] [ 0,1]]を0から1の間のcで置き換えます。

Answer 2

RELUの式は単純にf(x)=max(0,x)なので、基本的には畳み込み行列のすべての負の数をゼロにします。

Hereあなたは、RELUおよび畳み込みニューラルネットについての説明があります。