ディープニューラルネットワークのクロスバリデーション

Question

ディープニューラルネットワークでクロスバリデーションを実行するにはどうすればよいですか？私は、クロスバリデーションを実行して1つを除いたすべてのフォールドでそれを訓練し、除外されたフォールドでそれをテストすることを知っています。次に、k倍の時間にわたってこれを行い、各折りたたみの正確度を平均化する。各反復ごとにどのようにこれを行うのですか？それぞれの折り目でパラメータを更新しますか？または、繰り返しごとにk倍のクロス検証を実行しますか？あるいは、すべてのフォールドで各トレーニングを行いますが、1回は1回の反復と見なされますか？

Answer 1

Cross-validationは、オーバーフィッティングを防ぐためのMLの一般的なテクニックです。深い学習モデルでそれを行うことと線形回帰でそれを行うこととの間に違いはありません。アイデアはすべてのMLモデルで同じです。 CVの背後にある基本的な考え方は、あなたの質問には正しいと書いてあります。

しかし、質問は、繰り返しごとにこれを行いますは意味をなさないです。 CVアルゴリズムには、訓練中に反復に関連するものは何もありません。あなたはあなたのモデルを訓練した後、それを評価するだけです。

各折り返しでパラメータを更新しますか？。あなたは同じモデルをk回訓練し、おそらく異なるパラメータを持つたびにトレーニングします。

---

DLにCVが必要でないという答えは間違っています。 CVの基本的な考え方は、限られたデータセットでモデルのパフォーマンスをより正確に評価することです。あなたのデータセットが小さければ、kモデルを訓練する能力があなたに良い見積もりを与えます（サイズの縮小はあなたが〜k倍の時間を費やすことです）。あなたが100mlの例を持っているなら、おそらく5％のテスト/バリデーションが設定されているので、あなたには良い見積もりが与えられます。