TensorFlowNIST分類::精度のシャープな改善 - それは可能ですか？

Question

私はTensorFlowを学習しており、それをMNISTデータベースに適用しようとしていて、2回目のエポック（スクリーンショットのe1）に驚いて、e0中の9.4％から95％重量&バイアス！）！

このような精度の急上昇は可能でしょうか？

• コード：https://github.com/vibhorj/tf/blob/master/so/mnist-3-relu.py
• バッチサイズ：100
• エポック：10000
• 5層ネットワーク（4隠された、1つの出力、200/100/30分の60 neirons）
• LR = 0.001
• AdamOptimizer
• relu &ソフトマックスactiovation機能

バッチサイズを100 & mnistのトレーニングサンプル＃= 55000と考えると、e1の前に550個の更新があったはずです。

何か問題はありますか？

ありがとうございます！

Answer 1

テスト精度を印刷しているときにコードに間違いはありません。間違いなくすぐに正確さが得られます。また、あなたの訓練の損失は減少しています。

学習のペースを減らすことに興味がある場合は、学習率を減らすことができます（たとえば、0.000003）。ネットワークをゆっくりと学習させたい場合は、隠れたレイヤーのレイヤー数やユニット数を減らして試すこともできます。

これは、最初の10エポックの学習率が0.000003のコードで得られた精度です。

e0_0, loss: 2.3103301525115967, accuracy: 0.09469999372959137 
e1_550, loss: 2.2732467651367188, accuracy: 0.11469998955726624 
e2_1100, loss: 2.372925, accuracy: 0.1590999811887741 
e3_1650, loss: 2.185560941696167, accuracy: 0.2231999933719635 
e4_2200, loss: 2.1254842281341553, accuracy: 0.31909993290901184 
e5_2750, loss: 2.051886558532715, accuracy: 0.40129992365837097 
e6_3300, loss: 1.9651522636413574, accuracy: 0.4681999087333679 
e7_3850, loss: 1.8645144701004028, accuracy: 0.5381998419761658 
e8_4400, loss: 1.750971794128418, accuracy: 0.6107000112533569 
e9_4950, loss: 1.6259007453918457, accuracy: 0.6584999561309814 
e10_5500, loss: 1.4947171211242676, accuracy: 0.6923999786376953