ANNバックプロパゲーションの実装をテストする

Question

バックプロパゲーションを使用して人工ニューラルネットを組み立てる場合、アルゴリズムは複雑であり、テストのための安定した参照点はありません。

実装されたアルゴリズムの正確性をデバッグする最適な方法は何ですか？

私は列車/検証/テストフェーズについては言及していませんが、私はある種のゲージを望んでいますか、またはステップバイステップのトレーニング結果/重量値をネットワークの内部動作与えられた構成とトレーニングデータ。私は助けるかもしれないと思う何

Answer 1

は次のとおりです。

1. （TheanoまたはTensor Flowなど）自動differentationフレームワークとモジュールを使用すると、あなたと同じ構成でネットワークを定義する - とその内側のdifferentationフレームワークを使用して結果を確認します。
2. numerical gradient計算を使用する。
3. 自分で適切なグラデーションを計算し、結果を比較します。