pythonとtensorflowを使用してノイズ除去スタックオートエンコーダから低次元の特徴ベクトルを抽出する方法

Question

下記のコードは、MNISTデータセットをインポートし、データを破損し、エンコードし、デコードするために、基本的には、これを非線形の次元削減テクニックとして使用したいと思います。モデルがエンコーディングしている低次元の機能にアクセスするには、どうすればこれらをクラスター化モデルに投げることができますか？理想的には、私は、低次元のフィーチャがループまたは直線であることを期待しています（実際にはこれは当てはまりません）。

import numpy as np 
import os 
import sys 
import tensorflow as tf 


from tensorflow.examples.tutorials.mnist import input_data 
mnist = input_data.read_data_sets("/tmp/data/") 


def plot_image(image, shape=[28, 28]): 
    plt.imshow(image.reshape(shape), cmap="Greys", interpolation="nearest") 
    plt.axis("off") 

def reset_graph(seed=42): 
    tf.reset_default_graph() 
    tf.set_random_seed(seed) 
    np.random.seed(seed) 


def show_reconstructed_digits(X, outputs, model_path = None, n_test_digits = 2): 
    with tf.Session() as sess: 
     if model_path: 
      saver.restore(sess, model_path) 
     X_test = mnist.test.images[:n_test_digits] 
     outputs_val = outputs.eval(feed_dict={X: X_test}) 

    fig = plt.figure(figsize=(8, 3 * n_test_digits)) 
    for digit_index in range(n_test_digits): 
     plt.subplot(n_test_digits, 2, digit_index * 2 + 1) 
     plot_image(X_test[digit_index]) 
     plt.subplot(n_test_digits, 2, digit_index * 2 + 2) 
     plot_image(outputs_val[digit_index]) 


reset_graph() 

n_inputs = 28 * 28 
n_hidden1 = 300 
n_hidden2 = 150 # codings 
n_hidden3 = n_hidden1 
n_outputs = n_inputs 

learning_rate = 0.01 

noise_level = 1.0 

X = tf.placeholder(tf.float32, shape=[None, n_inputs]) 
X_noisy = X + noise_level * tf.random_normal(tf.shape(X)) 

hidden1 = tf.layers.dense(X_noisy, n_hidden1, activation=tf.nn.relu, 
          name="hidden1") 
hidden2 = tf.layers.dense(hidden1, n_hidden2, activation=tf.nn.relu, # not shown in the book 
          name="hidden2")       # not shown 
hidden3 = tf.layers.dense(hidden2, n_hidden3, activation=tf.nn.relu, # not shown 
          name="hidden3")       # not shown 
outputs = tf.layers.dense(hidden3, n_outputs, name="outputs")  # not shown 

reconstruction_loss = tf.reduce_mean(tf.square(outputs - X)) # MSE 

optimizer = tf.train.AdamOptimizer(learning_rate) 
training_op = optimizer.minimize(reconstruction_loss) 

init = tf.global_variables_initializer() 
saver = tf.train.Saver() 

n_epochs = 10 
batch_size = 150 

with tf.Session() as sess: 
    init.run() 
    for epoch in range(n_epochs): 
     n_batches = mnist.train.num_examples // batch_size 
     for iteration in range(n_batches): 
      print("\r{}%".format(100 * iteration // n_batches), end="") 
      sys.stdout.flush() 
      X_batch, y_batch = mnist.train.next_batch(batch_size) 
      sess.run(training_op, feed_dict={X: X_batch}) 
     loss_train = reconstruction_loss.eval(feed_dict={X: X_batch}) 
     print("\r{}".format(epoch), "Train MSE:", loss_train) 
     saver.save(sess, "./my_model_stacked_denoising_gaussian.ckpt") 


show_reconstructed_digits(X, outputs, "./my_model_stacked_denoising_gaussian.ckpt") 

Answer 1

アンオートエンコーダは、一部をコードするそれぞれの層において、弁別機能を学習した後（復号部）で再構成段階では、出力を形成するためにこれらの機能を使用しよう。 しかし、自動エンコーダーを使用して低次元のフィーチャーをローカルに抽出する場合は、Convolutional Autoencoders（CAE）を使用する方がはるかに効率的です。

あなたの質問に直感的な答えは、機能低次元の抽出された特徴として、CAEのデコード一部で生産されているをマップを使用することができます。つまり、データセットにNレイヤー CAEを訓練してから、出力レイヤーを無視し、クラスタリング目的で畳み込みレイヤーの出力を使用します。ただ、より明確にするため

、その5×5の特徴の各々は、上記画像における（S_2）は特徴として考えられるマップ。 CAE hereの簡単なデモと実装が見つかります。

最後に、Data Scienceコミュニティでこのような質問をすることをお勧めします。