Keras cifar10の例検証とテストの損失がトレーニングの損失よりも低い

Question

hereというKerasのcifar10の例を使って遊んでいます。モデルを再作成しました（つまり、同じファイルではありませんが、他のすべてはほぼ同じです）。hereを見つけることができます。

モデルは同じで、50,000イメージトレーニングセットで0.2個の検証分割を使って30エポックのモデルを訓練します。私は私が得た結果を理解することができません。 、私のプロットを見ると

     Loss  Accuracy 
    Training   1.345   0.572 
Validation   1.184   0.596 
     Test   1.19   0.596 

：私の検証とテストの損失が少ないトレーニング（逆に、トレーニングの精度検証とテストの精度に比べて低くなっている）よりも小さいですなぜトレーニングのエラーが再びひどく増え始めるのか分からない。私は訓練するエポックの数を減らす必要がありますか、あるいは早期停止を実装する必要がありますか？異なるモデルアーキテクチャが役立つでしょうか？もしそうなら、良い提案は何でしょうか？

ありがとうございました。

Answer 1

これはまれな現象ですが、時々起こります。このようなケースかもしれないいくつかの理由があります：

• 小さいデータセットが小さい固有の分散はそう、これはあなたのモデルが正しくデータの内のパターンをキャプチャし、列車がエラーが大きいことを意味していいうだけの理由で、内側の分散トレーニングセットは、検証セットより大きい。
• 簡単な事故 - これも起こる可能性があります。スプリットはそのような動作に適しています。