ドロップアウトを挿入する必要があります。完全に接続されたレイヤー。畳み込みレイヤ。または両方。？

Question

Dropoutを挿入する必要がありますか？

完全に接続されたレイヤー(Dense)、または畳み込みレイヤーに配置する必要がありますか？または両方。？

フィードバックをいただきありがとうございます。

Answer 1

ドロップアウトは、ネットワークのオーバーフィッティングを防止するための単なる正規化手法です。トレーニング中にノードのウェイトを所定の確率でゼロに設定し、各反復でトレーニングに必要なウェイト数を減らします。これは、ネットワークの各レイヤー（完全に接続されているか畳み込みされているかにかかわらず）、または選択したレイヤーの後に適用できます。どのレイヤーにドロップアウトが適用されるかは、最高のパフォーマンスが得られるかどうかの設計上の決定に過ぎません。

Answer 2

通常、ドロップアウトは完全に接続されたレイヤーに置かれます。なぜなら、それらはパラメータの数が増えたためであり、過度に共調整し過ぎる可能性があります。

しかし、それは確率的な正則化技法なので、実際にどこにでも置くことができます。通常は、多数のパラメータを持つレイヤーに配置されますが、代わりに畳み込みレイヤーに適用することを拒否する人はいません（fcレイヤーに関するパラメーターの数が少なくなります）。

さらに、ドロップレットの確率は、必要な正規化の影響に応じて変更する必要があります。

完全に接続されたレイヤーにドロップアウトが適用されているときに、保持確率（1ドロップ確率）を0.5に設定し、畳み込みレイヤーに適用したときに大きな数値（0.8、0.9）に設定するのが一般的です。

ちょうど注意してください：すべてのマシン学習フレームワークのドロップアウトが "逆"バージョンで実装されているので、ドロップアウト確率が学習率に与える "ブースト"を克服するために、学習率を下げる必要があります。 より包括的な評価については、https://pgaleone.eu/deep-learning/regularization/2017/01/10/anaysis-of-dropout/

Answer 3

ドロップアウトを配置する場所を選択できます。私は通常コンボルーションの後で使用しますが、FCレイヤーでも使用できます。最適な結果が得られるように異なる組み合わせを試してください。