ConvNetが改善していない（Tensorflow）

Question

まず、私は大学のプロジェクトのために多くのコードを投稿することはできませんが、真剣に立ち往生しています。

は、私は次のモデルを使用してTensorFlowとCIFAR-10のデータセットを使用してConvNetを養成しようとしています：

1. 画像：[32,32,3]
2. CONV1：5,5,3、 64 + bias [64]（0.0に初期化）
3. norm1：depth_radis = 4、bias = 1.0、alpha = 0.001/9.0、beta = 0.75
4. pool1：ksize = [1,3,3,1 ]、ストライド= [1,2,2,1]、パディング= SAME
5. conv2：5,5,64,64 + bias [64]（0.1に初期化）
6. プール2：ksize = [1,3,3,1]、ストライド= [1,2,2,1]、パディング= SAME
7. norm2：depth_radis = 4、バイアス= 1.0、アルファ= 0.001/9.0、ベータ= 0.75
8. LOCAL1：8 * 8 * 64、384 +バイアス[384]（0.1のに初期化）
9. LOCAL2：384、192 +バイアス[192]（0.1のに初期化）
10. ドロップアウト：keep_prob = 0.5
11. ソフトマックス：[192,10] +バイアス[10]（0.0のに初期化）

しかし、私は取得していた結果がOバッチで（ありますF 1000）：

1. ステップ0、トレーニング精度0.09
2. ステップ1、トレーニング精度0.096
3. ステップ2、トレーニング精度0.1
4. ステップ3、トレーニング精度0.108
5. ステップ4、トレーニング精度0.122
6. ステップ5、トレーニング精度0.094
7. ステップ6、トレーニング精度0.086
8. ステップ7、トレーニング精度0.082
9. ステップ8、トレーニング精度0.104
10. ステップ9、トレーニング精度0.09

Iは重みを更新するために、次を使用している：

cross_entropy = tf.reduce_mean(
     tf.nn.softmax_cross_entropy_with_logits(y_conv + 1e-10, y_)) 
train_step = tf.train.AdamOptimizer(0.0001).minimize(cross_entropy) 

これは私が読んできたガイド：https://www.tensorflow.org/versions/r0.11/tutorials/deep_cnn/index.html#convolutional-neural-networks

私は学習率を1e-1から1e-8まで変化させようとしましたが、運はありませんでした。 何か助けていただければ幸いです。前もって感謝します。

Answer 1

tf.nn.softmax_cross_entropy_with_logitsの代わりにtf.nn.sparse_softmax_cross_entropy_with_logitsを使用してください。あなたのデータセットに対してより多くのことを行うために試みることができる

Answer 2

：

• は
• あなたの画像を正規化データ
• の（独立同一分布）IIDを減らすためにあなたのトレーニングデータセットをシャッフルにグレースケール画像を試してみてくださいモデルのベースラインを参照してください