MxNet：いくつかの繰り返しの後で精度がランダムなプレディクトロンに落ちる

Question

0から9までの歪んだ数字の画像を分類するためにCNNをトレーニングするとき、トレーニングセットとテストセットの精度が明らかに向上しました。エポックにおいて

Epoch[0] Batch [100] Train-multi-accuracy_0=0.296000 
... 
Epoch[0] Batch [500] Train-multi-accuracy_0=0.881900 

[1]及びエポック[2]の精度はその後しかし、

Epoch[3] Batch [300] Train-multi-accuracy_0=0.926400 
Epoch[3] Batch [400] Train-multi-accuracy_0=0.105300 
Epoch[3] Batch [500] Train-multi-accuracy_0=0.098200 

、0.85と0.95との間でわずかに振動し、精度がネットワークのみランダム与えた意味その周り0.1でした予測。 私はこのトレーニングを何度か繰り返しましたが、毎回このケースが発生しました。どうしたの？ 適応学習率戦略が理由ですか？

model = mx.model.FeedForward(..., 
          optimizer = 'adam', 
          num_epoch = 50, 
          wd = 0.00001, 
          ..., 
          ) 

Answer 1

訓練しているモデルはなんですか？ mnistデータセットを使用している場合は、通常、sgdで訓練されたシンプルな2層MLPがかなり高い精度をもたらします。