Caffeのトレーニングとテストの相違点

Question

これは愚かな質問のように思えるかもしれませんが、私はcaffeのテスト段階が良い結果を得るために重要であることを理解しようとしています。もちろん、トレーニング段階は重要ですが、訓練されていないセットでどのくらいの損失が定期的にどれくらい得られるかをテストするためのテスト段階です。この場合、私のテストセットのサイズは本当に重要ですか？テストはまったく重要ですか？私は現在、深刻な過度の問題を抱えているので尋ねます。大きなデータセット（> 50 000イメージ）がある場合は、テストと電車の間でどのように分割する必要がありますか？

Answer 1

Caffeは、訓練中にテストセットの結果を使用せず、オーバーフィッティングのようないくつかの問題を修正するためにいくつかのパラメータを変更しません。

検証セット（訓練中のテストセット）を使用することは、モデルがプロットまたは出力を見て、精度または損失値を調べることによってモデルにデータをオーバーフィットするかどうかを視覚化することです。

たとえば、トレーニングセットの損失がすべての反復で減少し続け、テストセットの損失が増加し続ける場合、これはトレーニングセットにあまりにも似たモデルの堅実なケースです。そのような結論を得るためには、テストセットのために選択された画像は、トレーニングセットの画像と同じであってはならない。テストトレインの画像数を1:10に保つことが理想です。テストセットがトレーンセットのサブセットを使用していた場合、テストセットの損失は減少し、モデルのオーバーフィット動作を検出できないことがあります。