gradient-descent

0熱

1答えて

Ng courseraとMichael A. Nielsenの勾配が異なる

私は、courseraのNG機械学習コースとNielsonによる本のニューラルネットワーキングと深い学習からニューラルネットワークを学習しています。勾配降下の理解について少し混乱しています。 NGとNielsonの間のGradient Descentによって重量を更新するための2つの異なる形式があります。ニールセンから ：NGから the weight update formula the cha

neural-network deep-learning backpropagation gradient-descent 2017-11-28

---

1熱

1答えて

勾配降下にreluを使用した場合の影響

relu activation関数に派生関数が含まれていないということはどのような影響を与えますか？ How to implement the ReLU function in Numpyは、最大（0、行列ベクトル要素）としてreluを実装します。 勾配降下では、relu関数の派生を取っていませんか？ 更新：Neural network backpropagation with RELU から こ

neural-network deep-learning gradient-descent derivative activation-function 2017-11-30

---

0熱

1答えて

線形回帰を使用してモデルを構築すると、Gradient Descentのパラメータはどのように初期化されますか？

私はPythonやRで線形回帰モデルを構築するときには、ちょうどフィットメソッドを使用します。この方法では、学習率や開始点を初期化する必要はありませんが、これは勾配降下で必要です（私が知る限り）。ですから、モデルが勾配降下を使って最適化すると仮定すると、のメソッドを使用すると、これらのパラメータは線形モデルによってどのように選択されますか？ または、モデルで勾配降下（またはその任意の型）を使用しな

linear-regression gradient-descent 2017-12-04

---

-3熱

1答えて

教師付き分類でfit（）より劣って実行されているpartial_fit（）のMLP

私が使用している学習データセットは、各ピクセルを個別のサンプルにするためにflattenのグレースケール画像です。第2の画像は、前者の分類器であるMultilayer perceptron（MLP）の分類子を訓練した後、ピクセルごとに分類される。 私が持っている問題は、塊（partial_fit()）と比較してトレーニングデータセットを一度に受信すると、すぐに（fit()）の方が良いことです。どち

machine-learning scikit-learn neural-network classification gradient-descent 2017-12-06

---

-1熱

1答えて

勾配降下によるバックプロパゲーションは、各フォワードパス後のエラーを表します

ニューラルネットワークのマルチレイヤパーセプトロンでは、確率的勾配（SGD）と勾配降下（GD）の主な違いは、トレーニング中。つまり、SGDは順方向パスを実行するために1つのサンプルを繰り返し選択し、続いて順方向パスでサンプル全体が計算された後にのみバックプロパゲーションが開始されるGDとは反対に、逆方向移動を行って重みを調整します。 私の質問は以下のとおりです。 はグラデーションディセント（あるい

machine-learning scikit-learn neural-network gradient-descent loss-function 2017-12-09

---

3熱

1答えて

ロジスティック回帰勾配降下

私はタイトルが言うようにしようとしていますが、私はそれを行う方法を本当に理解することができません。 何が間違っているのか理解するのを助けることができれば、非常に役に立ちます。バッチ勾配降下を使ってロジスティック回帰をしなければならない。 import matplotlib.pyplot as plt import numpy as np %matplotlib inline X = np.

python logistic-regression gradient-descent 2017-12-13

---

1熱

1答えて

Caffeは、複数の出力ブランチを持つブロブのグラジエントをどのように更新しますか？

Caffeは複数の損失をサポートしています。逆伝搬段階では、いくつかのブロブは、異なる損失からくる複数の勾配を有することがある。 Caffeはこのブロブのグラデーションをどのようにしていますか？ 私が知る限り、これはネットワークを設計する際には重要ではないかもしれません。しかし、私が新しいレイヤーを書き込もうとすると、この質問は本当に混乱します。何かありがとう！

machine-learning neural-network deep-learning caffe gradient-descent 2017-12-14

---

1熱

1答えて

これら2つのコスト関数はオクターブで同等ですか？

one = sum((X*theta) - y) .^2)/(2*m); two = ((X'*theta - y)*(X*theta - y))/2*m; % where X' == X transpose, so I can do matrix multiplication. "1"は、線形回帰の単変量コスト関数に（正常に）使用されます。 "1"は多変量線形回帰問題のコストを計算する

machine-learning octave gradient-descent non-linear-regression 2017-12-19

---

1熱

1答えて

学習率を変えずに練習エラーがジャンプするのはなぜですか？

私は約10の畳み込み層といくつかのプール層を持つ畳み込みネットワークを訓練しています。トレーニングセットは約25万サンプル（長さベクトル16,000）です。第1期から約50％で、トレーニングとテストのエラーは約68％から92％に急上昇しました。学習率は同じでした（バッチ勾配降下）。バッチサイズは32でした。そのジャンプを引き起こしたのは何ですか、そしてどのようにジャンプを解釈することができますか？

tensorflow machine-learning deep-learning gradient-descent 2017-12-23

---

0熱

1答えて

TensorFlow - "TypeError：フェッチ引数なし"

最も簡単なグラフを実行すると、TensorFlowはTypeErrorを投げています。 sess = tf.Session() x1 = tf.placeholder(tf.float32) x2 = tf.placeholder(tf.float32) z = x1 sess.run(tf.gradients(z, [x1, x2]), feed_dict={x1: 1, x2: 1}

tensorflow machine-learning typeerror gradient-descent 2017-12-27

---