JavaScriptで勾配降下アルゴリズムを使用した非常に単純な線形回帰を実装しましたが、複数のソースを参照していくつかのことを試した後、収束することはできません。 データは絶対線形であり、入力としては0〜30の数字だけで、x * 3は正しい出力として学習します。 Andrew Ng's course on Gradient Descent for Linear Regression Nanode
私はこの関数のグラデーションを取ろうとしています: loss function (N個のオブジェクト、m個の機能)。ここで def L(y,X,w): #loss function return np.sum(np.log1p(np.exp(np.dot(w,(-X.T*y))))) 偏微分の私の計算である:私は、勾配の数値評価を実施していた場合analytic gradient def g(y,
私はいくつかのリカレントニューラルネットワーク構造を使用してマルチラベル分類を行っています。私の質問は、損失関数についてです:私の出力は、各ラベルのクラスを示すtrue/false(1/0)値のベクトルになります。多くのリソースは、ハミング損失が適切な目的であると述べています。しかし、ハミング損失は、勾配計算に問題があります。 H =平均(y_true XOR y_pred)、XORは損失の勾配を