検証データでハイパーパラメータを調整する方法

Question

私はニューラルネットワークの機械学習モデルを学習しており、ハイパーパラメータを調整する方法について少し混乱しています。

次のように私はトレーニングプロセスを参照してください。検証データを評価するために、いくつかのハイパーパラメータを持つ

• ビルドニューラルネットワーク（隠れ層のニューロンの例数）
• 更新パラメータトレーニングデータを使用して
• 使用モデルはオーバーフィッティングではなく、性能を評価するために
• 使用テストデータを改善している場合

私は、検証データはハイパーパラメータを調整するためにも使われていると言われてきました。私はの後に検証データを使用してモデルを構築し訓練したので、これを行う方法を理解していません。モデルがすでに構築されているため、ハイパーパラメータを変更することはできません。

私には、ニューラルネットワークのアーキテクチャを指定する4つのハイパーパラメータがあるとします。すべてのハイパーパラメータの組み合わせ（4^4の組み合わせ）について、トレーニング、検証プロセス全体を実行するはずですか？

は

Answer 1

は基本的に、はい、あなたは全体のプロセスを通過する必要がありがとう。クロスバリデーションとモデル/パラメータの選択は、複数回のトレーニング（異なるパラメータ）、結果のモデルの評価（コスト、損失、精度、または適切なメトリックによる）を行い、最良の結果をもたらしたパラメータを選択します。

たとえば、回帰モデルを訓練する場合、10種類の多項式モデルを訓練し、検証データを使用してより良いものを選択することができます。同じ場合も同じですが、異なるネットワークアーキテクチャを使用します。