backpropagation

0熱

1答えて

私はCIFAR-10で訓練する深いモデルを持っています。トレーニングはCPUでうまく動作します。しかし、GPUサポートを使用すると、一部のバッチのグラデーションがNaN（tf.check_numericsを使用してチェックされています）がランダムに発生しますが、十分に早く発生します。私はこの問題が私のGPUに関係していると信じています。質問：少なくとも1つのグラデーションにNaNがあり、モデルが

0熱

1答えて

seq2seq - エンコーダバックプロパゲーション

seq2seqモデルのエンコーダでバックプロパゲーションがどのように機能するかを理解できません。ラベルはありません。したがって、LSTMレイヤーの重みは何らかの形で更新されますが、バックプロパゲーションされたエラーを計算することはできません。 l_enc_input = Input(batch_shape=(batch_size, None, embedding_size)) l_enc_lst

2熱

1答えて

バックプロパゲーション：sigmoidの導関数を乗算すると誤差がゼロに近づくのはなぜですか？

私は、2入力、2隠し（シグモイド）、1出力（シグモイド）のような、私の単純なニューラルネットワークにバックプロパゲーションを実装しようとしています。しかし、それは適切に動作していないようです。私は私のエラーを印刷するとき import numpy as np # Set inputs and labels X = np.array([ [0, 1], [0, 1],

-1熱

1答えて

ディープ学習ネットワークでフォワード伝搬信号を強化する方法は？

私は以前に質問しました Matconvnet output of deep network's marix is uniform valued instead of varying values? 密度推定のために深いネットワークをデバッグしていたので、出力に向かって信号が消えていく/消えていくことに気付きました。信号が平坦にならないように信号を補強するにはどうしたらいいですか？ピーク値とベース値

0熱

1答えて

ニューラルネットワークの逆伝播とバイアス

いくつかのマニュアがあるので、ニューラルネットワークの教授の良いアルゴリズムを構築するのは難しいです。最初のものが最初に：私の目標は、私は活性化関数と単純なグラデーション降下としてSigmoidを使用しているnnのxor関数を教えることです。フィードフォワードは簡単ですが、バックプロップは何とか混乱します。アルゴリズムのほとんどの記述に共通するステップは次のとおりです。 1.出力レイヤーでエラーを

0熱

1答えて

中間層で出力を再構成したときテンソルフローがどのように逆伝搬を処理するのですか？

数字Aを出力する隠れ層を持つニューラルネットワークを持っています。問題は、逆伝播を行うときにTFがこれを適切に処理できるかどうかです。私はTFでそれを試して、何かを出力することができますが、私はまだBPが正しく動作するかどうかはわかりません。ところで、私は数からベクトルを生成するために使用される関数である（d私はフィードの値である、Vが前の層から出力され、Gは一定である）： def Genera

2熱

1答えて

MLPClassifierパラメータ設定

Backpropationアルゴリズムを使用したプロジェクトを開発しています。だから私はscikit-learnでBackpropagationアルゴリズムを学んでいます。 mlp = MLPClassifier(hidden_layer_sizes=(hiddenLayerSize,), solver='lbfgs', learning_rate='constant',learning_rate

2熱

1答えて

TensorFlow複数のバッチにわたる平均勾配

これはTensorflow: How to get gradients per instance in a batch?の可能な複製です。私はとにかくそれに満足している答えがなかったので、私はそれを尋ねます、そして、ここの目標は少し異なります。私は私が私のGPUに収まることができる非常に大きなネットワークを持っていますが、私は養うことができ、最大バッチサイズはそれよりも大きい32何がGPUがメモ