トレーニング/テストセットとのクロスバリデーション

Question

クロスバリデーションとトレーニング/テストセットを使用した評価は可能ですか？私はクロスバリデーションとホールドアウトの評価を理解していますが、それらを組み合わせると混乱します。

Answer 1

モデルの精度（または他の何らかの尺度）を推定するために、クロスバリデーションとホールドアウトの両方の評価が広く使用されています。通常、大量のデータを使用できる贅沢がある場合は、保留評価を使用することができますが、少し制限がある場合は、相互検証を使用することができます。

しかし、これらは他の目的、特にモデルの選択と最適化にも使用でき、一般的にはモデルの精度を見積もるだけでなく、これらのことを実行することもできます。

たとえば、モデルのフィーチャ選択を実行し（モデルのいくつかのバージョンの中から選択し、それぞれが異なる変数のサブセットでビルドされている場合）、最後に選択したモデルを評価することができます。最終的な評価のために、保留検証のためのテストセットを予約することができます。最適なサブセットの変数を選択するには、トレーニングセットの相互検証によって推定されるように、各サブセットに構築されたモデルの精度を比較することができます。モデルの他の側面は、例えば、ニューラルネットワークからの複雑さパラメータまたはリッジ回帰からのリッジパラメータなどのこの混合アプローチを使用して最適化することもできる。別ウィンドウ（タブ）の大きな表示で見る

希望に役立ちます！