gradient-descent

4熱

1答えて

TensorFlowに付属のものを使用せずにTensorFlowでグラデーションディセントを実装する

TensorFlowでクラシファイアを構築しながら、勢いを持ったグラデーションディセントを使用したい（前のグラディエントを追跡する）。 tensorflow.train.GradientDescentOptimizerを使用したくないですが、tensorflow.gradientsを使用してグラデーションを計算し、以前のグラデーションを追跡し、それらのすべてに基づいてウェイトを更新します。 Ten

0熱

1答えて

大規模なデータにグラジエント降下を伴うロジスティック回帰

私は約300000の例と約50-60のフィーチャを持つトレーニングセットを持っています。また、約7クラスのマルチクラスです。私は勾配降下を使用してパラメータの収束を見つけるロジスティック回帰関数を持っています。私の勾配降下アルゴリズムは、行列形式でパラメータを見つけます。行列形式では、ループ内で別々に線形に行うよりも高速です。例：行列（P）< - マトリックス（P） - 小さなトレーニングデー

0熱

1答えて

SGDの学習率を使用したコンバージェンステスト

この lectureの8分後にヒューゴ・ラロシェルによって発表されたコンバージェンステストの説明は誰にもできますか？

0熱

1答えて

なし勾配降下でデータを最適化する際の値

私はテンソルフローで小さなニューラルネットワークを作成しようとしています。私はチュートリアル（http://de.slideshare.net/tw_dsconf/tensorflow-tutorial）でこれを見て、Null値を取得するので、私は重みを最適化しようとするまで（勾配降下で）すべてが正常に動作しています。 with tf.Session() as sess: x = tf.plac

1熱

1答えて

このTensorFlowサンプルが実際にupdate_weights.runがあることを理解ソリューション

新tensorflowする、Pythonとnumpyの（ほぼ）I以下のコードで（私はそれが、このサンプルではすべてのものだと思う）を見つけるために、重みを更新しない方法ループの呼び出しは、損失を計算して新しい重みを展開することです。私が見ていないのは、これが実際にウェイトを変更する方法です。私がこだわっているポイントは＃コメント化されて、これは私が update_weights.run（）と重

2熱

1答えて

バックプロパゲーションニューラルネットワークが機能しない

私は機械学習とニューラルネットワークの研究に着手したばかりなので、バックプロパゲーションの仕組みを理解するためにはまだ苦労しています。私は単純な行列ベースのアプローチを使って、Javaで単純なNNを開発しようとしました。トレーニングの例を1つだけ入れるとネットワークは完璧に機能しますが、それ以上使用しようとすると、出力は常にトレーニングの望ましい出力の平均になります。 http://neural

0熱

1答えて

理解xgb.dump

（F38 < 2.5）（コード行2及び6）結果の出力は次のようになります xgb.dump(model_2,with.stats=T) [1] "booster[0]" [2] "0:[f38<2.5] yes=1,no=2,missing=1,gain=173.793,cover=6317" [3] "1:leaf=-0.0366182,cover=3279.75

1熱

1答えて

Pythonでの2次元の勾配の低下

2次元の勾配降下の理解に問題があります。私は機能があると言うf(x,y)=x**2-xyここでdf/dx = 2x-yとdf/dy = -x。したがって、ポイントdf（2,3）の場合、出力ベクトルは[1、-2] .Tです。ベクトル[1、-2]が指しているところは、最も急な上昇（f（x、y）という別名の出力）の方向にあります。私は固定ステップサイズを選択し、そのような大きさのステップがf（x、y

2熱

1答えて

Matlab正規化されたロジスティック回帰 - グラジエントの計算方法

私は現在、Courseraプラットフォームで機械学習を行っています。ロジスティック回帰を実装しようとしています。ロジスティック回帰を実装するために、私は、コスト関数を最小化するために勾配降下を使用していると私は、コストやパラメータの現在のセットで評価された各パラメータの勾配の両方を返しcostFunctionReg.mという関数を書くことです。マイコスト関数が働いているが、勾配関数ではありません

3熱

1答えて

テンソルフローCNN mnist例の訓練の精度は、大規模な反復で予想外に0.06から1に低下します。

26700回の反復後にトレーニングの精度が1から0.06に突然低下します。このコードはテンソルフローのオンラインドキュメントから入手したもので、フィルタサイズを5x5から3x3に、繰り返しを20000から100000に、バッチサイズを50から100に単純に変更しました。 AdamOptimizerに関連している可能性があります.GradientDesentOptimizerに変更すると、56200