ニューラルネットワーク - それが正しく実装されていることをテストするには？

Question

私はTensorflowを使ってニューラルネットワークを実装しました。実装とトレーニングの間に、私はいくつかの些細ではないバグを見つけました。 例：トレーニング中に、異なるステップ/エポックで同じミニバッチ損失がありましたが、精度は異なります。

今、ニューラルネットワークは準備ができていて、適切に動作しているようです。私はまだそれを十分に訓練することはできませんでしたが、私はそれに取り組んでいます。

とにかく、何か計算上のエラーがないことを何とか確認したいと思います。私は "偽の"分類問題のためにいくつかの人工データを生成することを考えています。分類は、分類出力と4つの特徴との間に人間が理解可能な非常に明確な依存性を有するべきである。アイデアはNNを訓練し、それがどのように実行されるのか見てみることです。

あなたはどう思いますか？

Answer 1

スタンフォードのc231nには、グラディエントチェックのような一般的なヒントが2つあります。

ニューラルネットワークを学習しているだけの場合、既知のデータで実装を実行しようとするとどうでしょうか？多くのコースでは、指定されたハイパーパラメータを持つモデルからエラーおよび損失曲線が生成されるため、実装の動作が正しい実装と大きく異なるかどうかを確認できます。