model.fitのdropoutとdata.split

Question

わかっているように、ドロップアウトはオーバーフィットを制御するための仕組みです。 Kerasのトレーニングプロセスでは、検証の損失を監視し、セットアップデータをmodel.fitに分割してオンラインクロス検証を実行できます。

一般に、これらのメカニズムを両方とも使用する必要がありますか？または、セットアップデータをmodel.fitに分割した場合、ドロップアウトを使用する必要はありません。

Answer 1

ドロップアウトは正規化手法です。つまり、ネットワークがデータに過度にオーバーフィッティングすることを防ぎます。検証の損失は、あなたのネットワークが過密状態にあることを示すだけです。これらはまったく異なる2つの事柄であり、妥当性を失うことは、モデルが過適合しているときに役立つものではありません。

私は妥当性検査の損失があることは、トレーニング中に有益な情報であり、決してそれなしで行かなくてはならないと言います。ノイズ、ドロップアウト、バッチ標準化などの正規化手法が必要かどうかは、ネットワークの学習方法によって異なります。それがうまくいけば、正則化技術を採用しようとするべきです。