Tensorflow CNN - 私はCNNを複製しようとしているソフトマックス層入力

Question

として緻密層は https://pdfs.semanticscholar.org/3b57/85ca3c29c963ae396c2f94ba1a805c787cc8.pdf

に説明し、私は最後の層で立ち往生しています。私はこのようなcnnをモデル化しました

# Model function for CNN 
def cnn_model_fn(features, labels, mode): 

    # Input Layer 
    # Reshape X to 4-D tensor: [batch_size, width, height, channels] 
    # Taxes images are 150x150 pixels, and have one color channel 
    input_layer = tf.reshape(features, [-1, 150, 150, 1]) 

    # Convolutional Layer #1 
    # Input Tensor Shape: [batch_size, 150, 150, 1] 
    # Output Tensor Shape: [batch_size, 144, 144, 20] 
    conv1 = tf.layers.conv2d(
     inputs=input_layer, 
     filters=20, 
     kernel_size=[7, 7], 
     padding="valid", 
     activation=tf.nn.relu) 

    # Pooling Layer #1 
    # Input Tensor Shape: [batch_size, 144, 144, 20] 
    # Output Tensor Shape: [batch_size, 36, 36, 20] 
    pool1 = tf.layers.max_pooling2d(inputs=conv1, pool_size=[4, 4], strides=4) 

    # Convolutional Layer #2 
    # Input Tensor Shape: [batch_size, 36, 36, 20] 
    # Output Tensor Shape: [batch_size, 32, 32, 50] 
    conv2 = tf.layers.conv2d(
     inputs=pool1, 
     filters=50, 
     kernel_size=[5, 5], 
     padding="valid", 
     activation=tf.nn.relu) 

    # Pooling Layer #2 
    # Input Tensor Shape: [batch_size, 32, 32, 50] 
    # Output Tensor Shape: [batch_size, 8, 8, 50] 
    pool2 = tf.layers.max_pooling2d(inputs=conv2, pool_size=[4, 4], strides=4) 

    # Flatten tensor into a batch of vectors 
    # Input Tensor Shape: [batch_size, 8, 8, 50] 
    # Output Tensor Shape: [batch_size, 8 * 8 * 50] 
    pool2_flat = tf.reshape(pool2, [-1, 8 * 8 * 50]) 

    # Dense Layer #1 
    # Densely connected layer with 1000 neurons 
    # Input Tensor Shape: [batch_size, 8 * 8 * 50] 
    # Output Tensor Shape: [batch_size, 1000] 
    dense1 = tf.layers.dense(inputs=pool2_flat, units=1000, activation=tf.nn.relu) 

    # Dense Layer #2 
    # Densely connected layer with 1000 neurons 
    # Input Tensor Shape: [batch_size, 1000] 
    # Output Tensor Shape: [batch_size, 1000] 
    dense2 = tf.layers.dense(inputs=dense1, units=1000, activation=tf.nn.relu) 

    # Add dropout operation; 0.5 probability that element will be kept 
    dropout = tf.layers.dropout(
     inputs=dense2, rate=0.5, training=mode == learn.ModeKeys.TRAIN) 

    # Logits layer 
    # Input Tensor Shape: [batch_size, 1000] 
    # Output Tensor Shape: [batch_size, 4] 
    logits = tf.layers.dense(inputs=dropout, units=nClass) 

    loss = None 
    train_op = None 

    # Calculate Loss (for both TRAIN and EVAL modes) 
    if mode != learn.ModeKeys.INFER: 
    onehot_labels = tf.one_hot(indices=tf.cast(labels, tf.int32), depth=nClass) 
    loss = tf.losses.softmax_cross_entropy(
     onehot_labels=onehot_labels, logits=logits) 

    # Configure the Training Op (for TRAIN mode) 
    if mode == learn.ModeKeys.TRAIN: 
    train_op = tf.contrib.layers.optimize_loss(
     loss=loss, 
     global_step=tf.contrib.framework.get_global_step(), 
     learning_rate=0.001, 
     optimizer="SGD") 

    # Generate Predictions 
    predictions = { 
     "classes": tf.argmax(
      input=logits, axis=1) 
    } 

    # Return a ModelFnOps object 
    return model_fn_lib.ModelFnOps(
     mode=mode, predictions=predictions, loss=loss, train_op=train_op) 

最終的な精度は本当に悪いです（0.25）。だから私は、実際には、最後の層がsoftmax層であると書いていることに気付きました。だから私は

logits = tf.layers.softmax(dropout) 

に私のlogits層を変更してみましたが、私はそれを実行すると、それは私がここに欠けているものを、そう

ValueError: Shapes (?, 1000) and (?, 4) are incompatible 

を言いますか？

Answer 1

オリジナルのものが正しくありました。 softmaxの起動は、損失を計算する際に適用されます。tf.losses.softmax_cross_entropy別々に計算したい場合は、ロジット計算後に追加する必要がありますが、置き換えないでください。

logits = tf.layers.dense(inputs=dropout, units=nClass) 
softmax = tf.layers.softmax(logits) 

または両方で組み合わせることはできますが、お勧めしません。損失を伴うsoftmaxを計算する方が良いです。

logits = tf.layers.dense(inputs=dropout, units=nClass, activation=tf.layers.softmax) 

あなたの分類器は、ランダムより良いをやっていないので、私はこの問題は、多分、データのロードと前に、どこか産むと言うでしょう。