完全畳み込みニューラルネットワークをトレーニングするためのより良い構造がありますか？

Question

私は完全な畳み込みニューラルネットワークを訓練しています。訓練のために3080 * 16入力画像を使用して、一度に16枚の画像を与えます。私は100エポックの間これをやっています。

in every epoch: 
after each batch: 
calculate errors, do weight update, get confusion matrix 
after each validation_batch 
calculate errors and confusion matrix 

可能な最大バッチサイズを指定しようとしています。

Answer 1

この場合（エポック数が固定されている場合） - 更新回数と更新の品質の間にトレードオフがあります。より頻繁にネットワークを更新します（バッチが小さいほど）。より良いネットワークを得ることができます（正規化とベビーシッターを適切に使用していると仮定します）。実際の更新パラメータをより正確に近似すると（バッチサイズが大きくなります）、実際にモデルを悪化させる可能性のある変更を省略した品質ソリューションにネットワークが収束する速度が速くなります。

バッチサイズを設定する最も良い方法は、誰かがあなたのタスクに最適なバッチサイズを見つけたかどうかを調べることです。グリッド/ランダム検索メタ最適化 - 可能なバッチサイズの妥当な値を設定し、オプションを使用して最適な値を見つけることができます。