ニューラルネットワーク：ドロップアウトの「フィルタ」はどれくらいの頻度で更新されますか？

Question

私はドロップアウトレイヤーに関する非常に一般的な質問があります。ドロップアウトの「フィルタリング」はどれくらいの頻度で更新されますか？

各トレーニングの例については？またはミニバッチごとに？またはすべての時代のために？

ありがとうございました

Answer 1

一般的に、各トレーニングの例については、

出典1：slidesStandford CS231n: Convolutional Neural Networks for Visual Recognitionから採取：

出典2：http://www.deeplearningbook.org/ - 第7章：

たびに、我々はminibatchに例をロードし、我々はランダムにサンプリング ネットワーク内のすべての入力ユニットと隠れユニットに適用される異なるバイナリマスク。各ユニットのマスクは、他のユニットとは別にサンプリングされます。

私は、各ミニバッチの変更も同様にうまくいくはずです。しかし、私はすべての時代の変化は良い考えではないと思います（特に大きなトレーニングセットの場合）。