softmax関数の微分の説明

Question

softmaxの活性化関数の導関数を計算しようとしています。私はこれを見つけました：https://math.stackexchange.com/questions/945871/derivative-of-softmax-loss-function誰も私たちがi = jとi！= jの答えを得る方法の適切な導出をしてくれないようです。誰かがこれを説明してもらえますか？ソフトマックス活性化関数の分母のように総和が関与するとき、私はその派生物と混同しています。

Answer 1

和の誘導体はすなわち、デリバティブの合計です：

d(f1 + f2 + f3 + f4)/dx = df1/dx + df2/dx + df3/dx + df4/dx 

我々が開始o_iに関してp_jの誘導体を導出する：

d_i(p_j) = d_i(exp(o_j)/Sum_k(exp(o_k))) 

私が使用することを決めましたこれをより読みやすくするために、o_iに関する派生語についてはd_iとなります。 我々が得る製品のルールの使用：

 d_i(exp(o_j))/Sum_k(exp(o_k)) + exp(o_j) * d_i(1/Sum_k(exp(o_k))) 

は、第一項を見るとし、誘導体は0i != j場合、これは私がD_ijを呼び出しますdelta functionで表すことができるだろう。これは、（第一項のために）提供します：

ちょうど私たちの本来の機能は、我々は個別に和の各要素を導き出す第二項、唯一の非について D_ij

= D_ij * p_j 

を乗じて

= D_ij * exp(o_j)/Sum_k(exp(o_k)) 

、これは私たちを与えたときに -zero用語は

= -exp(o_j) * Sum_k(d_i(exp(o_k))/Sum_k(exp(o_k))^2 
    = -exp(o_j) * exp(o_i)/Sum_k(exp(o_k))^2 
    = -(exp(o_j)/Sum_k(exp(o_k))) * (exp(o_j)/Sum_k(exp(o_k))) 
    = -p_j * p_i 

2トンを置く（合計が分母にあるため、電源ルールを忘れてはならない）となります

i = j: D_ii * p_i - p_i * p_i = p_i - p_i * p_i = p_i * (1 - p_i) 

    i != j: D_ij * p_i - p_i * p_j = -p_i * p_j 

私たちの答えです：あなたは本当に私たちはi = jとi != j例にそれを分割することができますしたい場合は

D_ij * p_j - p_j * p_i 

：私たちは、驚くほど簡単な式を得るogether。

Answer 2

SirGuyの答えに基づいた私の派生は次のとおりです。（見つけたら、エラーを指摘してください）。