トレーニング検証顔面データセットのテストセットを分割

Question

私は畳み込みニューラルネットワーク（CNN）を使用しています。トレーニング/検証/テストセットを分割する方法が正しいかどうか尋ねたいだけです。

私は合計55人の対象を持っています。 私は、トレーニング（45人の対象）、検証（目に見えない5人の対象）、テスト（目に見えない6人の対象）のために80-10-10に分割する予定です。

妥当性検査セットは、見えない被験者から構成されるべきですか？または、トレーニングセット全体をシャッフルし、その一部（10〜20％）を検証セットとして使用できますか？

N-Foldクロスバリデーションを使用すると、トレーニングセット（インスタンス）全体がシャッフルされ、Nつ折りに分割され、モデルはトレーニングされ、N回平均化されます。 しかし、ニューラルネットワークまたはCNNの場合、非常に計算コストが高いため、クロスバリデーションは使用しません。

私は、目に見えない被験者の検証セットを使用してから正しいと思いますが、私のモデルは3〜5エポック後にオーバーフィットし始め、全く学習しません。 一方、トレーニングセットの10〜20％を検証セットとして使用すると、私のモデルは3層CNNを使用して妥当な精度（45〜50％）で学習しますが、見えないテストセットでテストした場合、トップ1精度は15-16％程度です。

ありがとうございました。

Answer 1

全体として、ルールはありません。ほんの一握りのルールがあります。トポロジとモデルを開発する作業の多くは、ハイパーパラメータの調整にあります。トレインテストの検証の比率は、これらのうちの1つに過ぎません。典型的な分割は、、非常に、およそ2：1：1であり、目的およびデータセットに応じて、多くのバリエーションがあります。トレーニングが50％未満の場合、またはテストまたは検証が20％未満の場合（データセットが小さすぎる場合は特に15％が便利な場合があります）、部門の質問を開始します。

「正解」は、モデルの最終的な目的によって大きく異なります。あなたが新しい科目を扱うことを期待するならば、当然ながら、あなたは試験と検証の両方に目に見えない科目を含める必要があります。与えられた主題だけを区別する必要がある場合は、バランスの取れたミックス（おそらく45：10：0）が必要です。この場合は、を歓迎します。オーバーフィットです。

一般的な人口（新しい科目）からの表現を処理すると予想される場合、私はあなたには訓練科目が不足していると思います。このようなモデルを適切に調整するには、比率を自由に使うことができるだけでなく、8：1：1のようなスリムなものでさえ、有用と認識できる結果をもたらすはずです。