有効性の正確性/損失がcaffeのトレーニングに影響するか

Question

caffeの検証セットについて簡単な質問がありますが、検証セットがトレーニングに影響を与えるかどうか疑問に思っていましたか？私はネットワークが過密でないかどうかを確認するために検証を設定していることを知っています。検証セットは重量の更新には影響しませんが、ハイパーパラメータの選択や変更に何らかの影響がありますか、ネットワークがどれくらいうまく学んでいるか見て見積もる

Answer 1

いいえ、任意のハイパーパラメータを調整するためのトレーニング中に、検証セットの結果はニューラルネットワークによって使用されません。トレーニング中に検証セットを使用することは、ネットワークをある時点で適用して検証セットの値を予測し、それがどれだけうまく達成されたかを評価することと同じです。

ハイパーパラメータに異なる値を使用して、同じネットワークトレーニング手順を何度も実行したいと思うかもしれません。完全に網羅的な形では、別々のネットワークのさまざまなトレーニングセッションを使用して、ハイパーパラメータ領域上のグリッド検索を行うことを意味します。実際には、パラメータの量が非常に大きくなる可能性があるため、ニューラルネットワークを使用して完全網羅的なグリッド検索を行うのは良い考えではありません。

ニューラルネットワークでは、しばしば、それぞれが「ほぼ正しい」ように見えるまで、一度に1つのパラメータを調整できます。もちろん、これはあなたに最高の最高の結果をもたらさないかもしれませんが、最初の悪い方法ではありません。