トレーニング、検証およびテストデータセットの組み合わせ

Question

トレーニングおよび検証データセットに基づいてモデルを訓練することは可能ですか。両方を組み合わせて新しいモデルを作成することは、その結合されたモデルから、テストデータセットのすべてのデータを分類するために使用します。

Answer 1

これは通常行われている処理です。ハイパーパラメータを転送する方法を知っていると仮定すると、普通は列車データにモデルをフィットさせるので、有効なもののスコアに基づいてハイパーパラメータを選択します。したがって、train + validを組み合わせると、かなり大きなデータセットが得られます。したがって、「最適なハイパーパラメータ」は以前選択したものとは完全に異なる場合があります。だから一般的に - はい、これはまさに通常行われていることですが、あなたの予想よりも難しいかもしれません（特に、あなたのメソッドが確率的、非決定論的などの場合）。