backpropagation

0熱

2答えて

pythonを使ったバックプロパゲーション/ numpy - ニューラルネットワークの重みとバイアス行列の導関数を計算する

私は、さまざまなリソースを使ってすべての部分をまとめて、Pythonでニューラルネットワークモデルを開発しています。すべてが機能していますが、数学のいくつかについて質問があります。モデルにはさまざまな隠れ層があり、最後に隠されたレイヤーを除くすべての隠しレイヤーに対してreluを使用します。これはシグモイドを使用します。 コスト関数は：ALが最後シグモイド活性化後確率予測をある def calc_

numpy neural-network backpropagation calculus 2017-12-30

---

1熱

1答えて

ニューラルネットワークの損失が減少しても精度は向上しませんか？

私は、1つの隠れ層とシグモイド活性化関数を持つニューラルネットワークのためのバッチベースの逆伝搬アルゴリズムを実装します。出力レイヤーはワンホットSigmoidレイヤーです。第1層のネットはz1である。適用S字状の後はa1になります。同様に、2番目の層にはz2とa2があります。 x, y = train_data, train_target for i in range(0, num_passe

python neural-network classification backpropagation perceptron 2017-12-31

---

0熱

1答えて

Ng courseraとMichael A. Nielsenの勾配が異なる

私は、courseraのNG機械学習コースとNielsonによる本のニューラルネットワーキングと深い学習からニューラルネットワークを学習しています。勾配降下の理解について少し混乱しています。 NGとNielsonの間のGradient Descentによって重量を更新するための2つの異なる形式があります。ニールセンから ：NGから the weight update formula the cha

neural-network deep-learning backpropagation gradient-descent 2017-11-28

---

3熱

1答えて

私はいくつかのサンプルを転送するだけで、計算グラフはいつ解放されますか？

私はバッチ内の各サンプルについてフォワードを行い、サンプルのモデル出力上のいくつかの条件に基づいて一部のサンプルについてのみ損失を累積するユースケースを持っています。ここにコードを例示します。 for batch_idx, (data, target) in enumerate(train_loader): optimizer.zero_grad() total_loss =

python backpropagation pytorch 2017-12-01

---

0熱

1答えて

ニューラルネットワークのバックプロパゲーション

私は単純なニューラルネットワークを実装しようとしています。 私は既にそこに利用可能なライブラリがたくさんあることを知っている、それはポイントではありません。 一つの入力層 1つの隠れ層 一つの出力層 出力層がそれぞれ異なるクラスを表す8ニューロンを有する： マイ・ネットワークは、3層を有します。 私はfeedfowardのalgorythmを実装する方法を理解しましたが、私は本当にbackprop

java algorithm machine-learning neural-network backpropagation 2017-12-03

---

0熱

1答えて

ニューラルネットワークのバックプロパゲーションバイアス

Andrew Traks's exampleに続いて、私はバイナリ分類のための単純なドロップアウトで、1入力、1隠れ、1出力の3層ニューラルネットワークを実装したいと考えています。 バイアス用語b1とb2を含めると、以下のようにAndrewのコードを少し修正する必要があります。 X = np.array([ [0,0,1],[0,1,1],[1,0,1],[1,1,1] ]) y = np.ar

python neural-network backpropagation bias-neuron 2017-12-06

---

2熱

1答えて

ニューラルネットワークの線形関数は出力として大きな値を生成しています。

虹彩データセットの回帰を実行してそのタイプを予測しています。私は同じデータと同じニューラルネットワークを使って分類に成功しました。分類のために、すべてのレイヤーで活性化関数としてtanhを使用しました。しかし、回帰のために、私は隠された層のtanh関数と出力層の同一性関数を使用しています。 import numpy as np class BackPropagation: weigh

python neural-network regression backpropagation 2017-12-10

---

0熱

1答えて

Backpropagationアルゴリズムの実装で何が問題になっていますか？

私は、MNISTデータセットをハックするための非隠れ層のニューラルネットワークを実装しようとしました。 私は、損失関数として活性化関数およびクロスエントロピーとしてシグモイドを使用しました。 私のネットワークには隠れ層がなく、入力と出力だけがあります。 これはバックプロパゲーションアルゴリズムの実装の一部ですが、期待通りに機能しません。損失関数の降下は非常に遅いです（私は0.001から1まで学習率

machine-learning neural-network backpropagation 2017-12-19

---

2熱

1答えて

複数の出力を持つバックプロパゲーション

現在、ニューラルネットワークモジュールを作成しています。しかし、複数の出力を持っているときは、損失関数を計算するために各出力の誤差を合計するように指示されました。これは意味がありません。なぜなら今はシナプス/体重がエラー。 たとえば、2 1 | 2（入力、非表示、出力）という形のNNがあります。 隠れ層のニューロンは、いくつかの重みによって各出力ニューロンに接続されています。現在、各出力ニューロン

artificial-intelligence backpropagation 2017-12-22

---

1熱

1答えて

ディープニューラルネットワークの実装でのコストは、何度か反復して増加するのはなぜですか？

私は機械学習とニューラルネットワークの初心者です。最近、Andrew Ngの深い学習に関する講義を見てから、私は深い神経ネットワークを使ってバイナリ分類器を自分で実装しようとしました。 しかし、関数のコストは各反復後に減少すると予想されます。 私のプログラムでは、最初はわずかに減少しましたが、後で急激に増加します。学習率や反復回数を変更しようとしましたが、無駄にしました。私は非常に混乱しています。

numpy machine-learning neural-network deep-learning backpropagation 2017-12-23

---