ニューラルネットワークモデルを正しく評価する方法は？

Question

私は現在、自分のニューラルネットワークに対してハイパーパラメータの最適化を行っています。

私はtrain、dev、testファイルを持っています。私のハイパーパラメータの最適化のために、私は列車とdevのセットを使用して完全な訓練を実行しています。最後に、パラメータの組み合わせについてトレーニングのテストセットを評価します。

私は、テストセットのスコアを最大にするパラメータを選択しています。私の問題は、テストセットが漏れているので、間違っていると感じているということです。

この手順は悪いですか？私はdevunsetの精度を最大限に高めるためにoptunityを使うべきですか？また、最後にはテストセットのスコアを報告しますか？

Answer 1

通常、検証（dev）セットは、さまざまなハイパーパラメータを持つモデルを比較するために使用されます。好みのモデルを選択して訓練したら、テストセットで実行してパフォーマンスを測定します。

あなたの直感は正しいです。テストセットを使用してモデルパラメータを選択することは、そのデータを使用して訓練手順を助ける意味がありますが、これはお勧めできません。

列車/検証/テストセットの分割および使用については、this postおよびthis videoのAndrew Ngによって詳細に説明されています。