ニューロンやウェイトをニューラルネットワークに追加すると、学習率を増減する必要があります

Question

私はアーキテクチャを変更した畳み込みニューラルネットワークを使用しています。私はネットワークを10回再訓練し、巨大な相互検証（最適なパラメータに対するグリッド検索）を実行する時間がありません。 直感的に学習率を調整したい。

は私が増える場合や、私のRMS（SGDベース）オプティマイザの学習速度を低下させる必要があります。

1. は、私は完全に接続された層に、よりニューロンを追加しますか？
2. 畳み込みニューラルネットワークでは、完全接続前にサブサンプリング（平均または最大プーリング）レイヤーを削除し、そのフィーチャーマップとsoftmax出力の間の完全接続ユニットの量を増やします（）は完全に接続されたニューロンに接続されています）？

Answer 1

よくレイヤー/ニューロンを追加すると、オーバーフィットの可能性が高くなります。したがって、時間の経過とともに学習率を下げる方が良いでしょう。サブサンプリングレイヤーを削除すると、パラメータの数が増え、再びオーバーフィットする可能性が高くなります。少なくともサブサンプリング層がモデルの学習をより効果的に行うのに役立つことが実証されています。したがって、それらを削除しないでください。

また、画像を切り抜いてより多くの例を生成し、それらの切り取ったバージョンでモデルを訓練することをお勧めします。これは正則化ツールとして機能し、モデルがより良いデータの分布を学習するのに役立ちます。次に、オーバーフィッティングのリスクが少ない層/ニューロンの数を増やすこともできます。