gradient-descent

5熱

1答えて

私はオンラインリソース（すなわち、コースラでの機械学習）を通して勾配降下を学びました。しかし、提供される情報は収束するまで勾配降下を繰り返すとしか言いようがありません。コンバージェンスの定義は、反復回数に対するコスト関数のグラフを使用し、グラフが平坦になったときに見ることでした。そこで私は、次の操作を実行することを前提としています if (change_in_costfunction > pre

2熱

1答えて

活性化関数と初期重みの選択は、ニューラルネットワークが極小値に突き当たっているかどうかに左右されますか？

私はthis questionを投稿しました。私のニューラルネットワーク（確率的勾配降下を使用してバックプロパゲーションを介してトレーニングしています）がローカルミニマムに詰まっているかどうか尋ねました。以下の論文は、XORニューラルネットワークにおける極小値の問題について述べている。最初の1つは、ローカルミニマムの問題はないとしているが、次の論文（1年後に書かれている）は、2-3-1 XORニュ

7熱

1答えて

CUDAの勾配降下最適化

私の最初の比較的大きなCUDAプロジェクトは機械学習のために勾配降下最適化としてコード化します。 CUDAのネイティブ機能のうち、プロジェクトで使用するための短期間の可能性があることについて、私は群衆の知恵から恩恵を受けたいと考えています。任意のアイデア/提案？