TensorFlowでシーケンスを出力するRNN

Question

テキストの本文の前の3文字を使用して次の文字を予測しようとする単純なTensorFlowプログラムを作成しました。私は、出力に次の発言4文字だけではなく、次のこれを拡大しようとしている

np.array(['s']) 

であることについて、目標と

np.array(['t','h','i']) 

：

単一の入力は、このようになります。キャラクター。私はyに長い配列に

y = tf.placeholder(dtype=tf.int32, shape=[None, n_steps]) 

にYを変更することに加え

np.array(['s','','i']) 

を供給しようとしたこれを行うには、しかし、これはエラーを生成：

Rank mismatch: Rank of labels (received 2) should equal rank of logits minus 1 (received 2).

ここでいっぱいですコード

embedding_size=40 
n_neurons = 200 
n_output = vocab_size 
learning_rate = 0.001 

with tf.Graph().as_default(): 
    x = tf.placeholder(dtype=tf.int32, shape=[None, n_steps]) 
    y = tf.placeholder(dtype=tf.int32, shape=[None]) 
    seq_length = tf.placeholder(tf.int32, [None]) 

    # Let's set up the embedding converting words to vectors 
    embeddings = tf.Variable(tf.random_uniform(shape=[vocab_size, embedding_size], minval=-1, maxval=1)) 
    train_input = tf.nn.embedding_lookup(embeddings, x) 

    basic_cell = tf.nn.rnn_cell.GRUCell(num_units=n_neurons) 
    outputs, states = tf.nn.dynamic_rnn(basic_cell, train_input, sequence_length=seq_length, dtype=tf.float32) 

    logits = tf.layers.dense(states, units=vocab_size, activation=None) 
    predictions = tf.nn.softmax(logits) 
    xentropy = tf.nn.sparse_softmax_cross_entropy_with_logits(
     labels=y, 
     logits=logits) 
    loss = tf.reduce_mean(xentropy) 
    optimizer = tf.train.AdamOptimizer(learning_rate=learning_rate) 
    training_op = optimizer.minimize(loss) 

    with tf.Session() as sess: 
     sess.run(tf.global_variables_initializer()) 
     for r in range(1000): 
      x_batch, y_batch, seq_length_batch = input_fn() 
      feed_dict = {x: x_batch, y: y_batch, seq_length: seq_length_batch} 
      _, loss_out = sess.run([training_op, loss], feed_dict=feed_dict) 
      if r % 1000 == 0: 
       print("loss_out", loss_out) 

     sample_text = "for th" 
     sample_text_ids = np.expand_dims(np.array([w_to_id[c] for c in sample_text]+[0, 0], dtype=np.int32), 0) 
     prediction_out = sess.run(predictions, feed_dict={x: sample_text_ids, seq_length: np.array([len(sample_text)])}) 
     print("Result:", id_to_w[np.argmax(prediction_out)])  

Answer 1

多対多RNNの場合は、tf.contrib.seq2seq.sequence_lossを使用して、時間当たりのステップ損失を計算する必要があります。あなたのコードは次のようになります。

... 
logits = tf.layers.dense(states, units=vocab_size, activation=None) 
weights = tf.sequence_mask(seq_length, n_steps) 
xentropy = tf.contrib.seq2seq.sequence_loss(logits, y, weights) 
... 

はtf.contrib.seq2seq.sequence_lossの詳細についてはhereを参照してください。