this linkを使用して音声認識装置を構築しています。これを実行した後、私は200エポック後、トレーニングレーベルのエラー率は1.023から0.085に低下しましたが、検証ラベルエラー率は1.347から0.843にしか減少しませんでした。その後、検証ラベルエラー率はそれ以上低下しません。RNN LSTMの検証データでラベルエラー率が低下しない
誰でもネットワーク構造の変更やハイパーパラメータの変更を提案して、検証ラベルのエラー率を改善できますか？
あなたは単にオーバーフィットしていると思います。ネットワークは、訓練セットの小さな詳細（統計的変動のみであることが多い）を学習し、次に一般化に失敗する。すなわち、検証セットの損失はもはや減少しない。オーバーフィットを減らすために、モデルの複雑さを減らすことができますが、最終的にはそれが発生します。早期停止は、検証の喪失が再び増加し始めるときに、トレーニングを中止するのに役立ちます。あなたはまた、ドロップアウト、そしておそらくl1またはl2の正則化を試みるべきです。これは過剰適合を減らすのに役立つかもしれませんが、おそらくそれを完全に取り除くわけではありません。
これらすべてのことを念頭に置く必要があります。検証セットのエラーを減らすためにハイパーパラメータを調整すると、一般にモデルの一般化能力が低下します。ハイパーパラメータのトレーニングとチューニング後に最後に使用されるテストセットを使用して、この一般化能力を失ったかどうかをテストすることができます。