TFLearnモデル評価

Question

私は機械学習とTensorFlowには新しいです。私はジェンダーを認識するための簡単なモデルを訓練しようとしています。私は身長、体重、靴のサイズの小さなデータセットを使用します。しかし、モデルの精度を評価する際に問題が発生しました。 ここでは全体のコードは次のとおりです。

import tflearn 
import tensorflow as tf 
import numpy as np 

# [height, weight, shoe_size] 
X = [[181, 80, 44], [177, 70, 43], [160, 60, 38], [154, 54, 37], [166, 65, 40], 
    [190, 90, 47], [175, 64, 39], [177, 70, 40], [159, 55, 37], [171, 75, 42], 
    [181, 85, 43], [170, 52, 39]] 

# 0 - for female, 1 - for male 
Y = [1, 1, 0, 0, 1, 1, 0, 0, 0, 1, 1, 0] 

data = np.column_stack((X, Y)) 
np.random.shuffle(data) 

# Split into train and test set 
X_train, Y_train = data[:8, :3], data[:8, 3:] 
X_test, Y_test = data[8:, :3], data[8:, 3:] 

# Build neural network 
net = tflearn.input_data(shape=[None, 3]) 
net = tflearn.fully_connected(net, 32) 
net = tflearn.fully_connected(net, 32) 
net = tflearn.fully_connected(net, 1, activation='linear') 
net = tflearn.regression(net, loss='mean_square') 

# fix for tflearn with TensorFlow 12: 
col = tf.get_collection(tf.GraphKeys.TRAINABLE_VARIABLES) 
for x in col: 
    tf.add_to_collection(tf.GraphKeys.VARIABLES, x) 

# Define model 
model = tflearn.DNN(net) 
# Start training (apply gradient descent algorithm) 
model.fit(X_train, Y_train, n_epoch=100, show_metric=True) 

score = model.evaluate(X_test, Y_test) 
print('Training test score', score) 

test_male = [176, 78, 42] 
test_female = [170, 52, 38] 
print('Test male: ', model.predict([test_male])[0]) 
print('Test female:', model.predict([test_female])[0]) 

モデルの予測は非常に正確ではないにもかかわらず

Test male: [0.7158362865447998] 
Test female: [0.4076206684112549] 

は

model.evaluate(X_test, Y_test)常に1.0を返します。 TFLearnを使用してテストデータセットの実際の精度を計算するにはどうすればよいですか？

Answer 1

この場合、バイナリ分類を行いたいとします。ネットワークは線形回帰を実行するように設定されています。

まず、カテゴリ機能にラベル（男女）を形質転換：ネットワークの

from tflearn.data_utils import to_categorical 
Y_train = to_categorical(Y_train, nb_classes=2) 
Y_test = to_categorical(Y_test, nb_classes=2) 

出力層では、予測したい二つのクラスのための2つの出力ユニットを必要とします。また、活性化は分類のためにsoftmaxである必要がある。 tf.learnのデフォルト損失はクロスエントロピーであり、デフォルトのメトリックは精度ですので、これはすでに正しいです。

# Build neural network 
net = tflearn.input_data(shape=[None, 3]) 
net = tflearn.fully_connected(net, 32) 
net = tflearn.fully_connected(net, 32) 
net = tflearn.fully_connected(net, 2, activation='softmax') 
net = tflearn.regression(net) 

出力は、各性別の確率を持つベクトルになります。例：

[0.991, 0.009] #female 

ごくわずかなデータセットでネットワークを過剰に調整することに注意してください。つまり、トレーニング中は精度が1に近づき、テストセットの精度は非常に悪くなります。