深い学習ネットワークを鍛える方法

Question

私はそれらについてどうやって行うべきか分からない。

1. ネットワークをアレックスネットで訓練したが、収束できませんでした。過度の過労もなかった。しかし、私がlenetを使ってネットワークを訓練したとき、それは収束しました。何故ですか？
2. 問題を解決するためにネットワークを訓練しました。それは収束しましたが、十分ではありません。ソフトマックスの損失はそれ以下（0.2）にすることはできません。そして、どうすれば対処できますか？オーバーフィットする

Answer 1

1. できないことは、ネットワークの容量や、コード自体にバグの欠如によって引き起こされることがあります。モデルを最初から訓練していますか？自分でモデルを書きましたか？あなたはImagenetの分類と同様のスケールで仕事をしていますか？

2. どのような種類のモデル訓練においても、損失の推定は予想される。しかし、エポック全体の損失を示す学習曲線がなければ、「0.2」の損失は無意味です。

your'reが取り組んで正確な作業、あなたが使用しているフレームワーク、ソースコードを知らなくても、カーブ、および/またはあなたが撮影したすべてのデバッグ手順を学習し、誰もが本当にあなたにお答えすることはできません質問。 cs231 lectures（特に講義4,5）またはAndrew Ng's Courseraコースの機械学習の基礎に戻ることをお勧めします。