1つのデータセットで2つの異なるアルゴリズムによる相互検証

Question

私は、3つのラベル「d」、「e」および「k」を有する分類されたデータのセットを持っています。私は分類子を訓練して 'd'を識別し、それらをデータセットから削除し、 'e'を識別したいと考えています。現在、データを3分の1に分割しています。これをX1、X2、X3と呼びます。 X1で学習者L1を訓練し、その学習者を使ってX2上の 'd'ラベルを取り除き、それを使ってX3でテストする第2の学習者L2を訓練します。これは合理的なアプローチですか、このようなシナリオでは標準が採用されていますか？

Answer 1

一般に、クラシファイアのパフォーマンスを評価するための一般的な手法として、データセット全体（複数の「フォールド」を使用）を使用するクロスバリデーションと、一部のデータを除外するホールドアウトセット評価のためのトレーニングから。典型的には、ホールドアウト・セットは、トレーニングに使用されるデータ（例えば、80/20または70/30）よりもはるかに小さい。

この場合、1つのオプションはホールドアウトセットを維持することです。学習セットの学習と変更、すなわち分類器の訓練、 'd'要素の除去、別の分類器の訓練、 'e'要素の識別、その後、ホールドアウトセットに対してプロセス全体をテストします。