ニューラルネットワーク：コストが不安定です

Question

私はPythonで画像の分類（1クラス）のための単純なニューラルネットワークを実装しました。レイヤーは単純です（image_matrix、5,1）。隠し層にreluとsigmoidを使用する。
私は5000回反復しています。最初は、コストが賢明な方法で徐々に下がっていくように見えます。
しかし、どんなに多くのトレーニング、私は使用例、または何私のlearning_rate、コストは約3000回の繰り返しの後に不規則たびに行動を開始し、ある...
cost（画像を表示するにはクリック）
誰かが私が何を理解するのに役立ちますやっている？
ありがとう

Answer 1

トレーニングモデルでは、トレーニングモデルでは、そのコストが複数の極小値であることを覚えておく必要があります。あなたのグラフは、モデルの最高のパフォーマンスを見出すことを目標としている、あなたのグローバルな最小値を見いだしている間に、あなたはコストがこのローカルミニマムの周りを移動していることを示しています。

第1回 - パフォーマンスが実際に向上しているかどうかを確認するために、精度、f1スコア、または1回の繰り返し/エポックごとの損失を確認してください。

第二 - 交差検証を行い、検証

第三のため、上記と同じメトリックをチェック - あなたはモデルが改善したりされていないならチェックすべき早期の停止機能を実装します。

*注：グローバルな最小値をより良く見つけるのに役立つ最高のアルファを見つけます。