Tensorflowで複数のSoftmax出力を使用するには？

Question

私はテンソルフローで、それぞれが異なるサイズの複数のsoftmax出力を持つネットワークを作成しようとしています。ネットワークのアーキテクチャは、 入力 - > LSTM - >ドロップアウトです。それから私は2つのソフトマックスレイヤーを持っています：10の出力のソフトマックスと20の出力のソフトマックス。これは、2組の出力（10と20）を生成し、それらを結合して最終出力を生成したいからです。私はTensorflowでこれを行う方法がわかりません。

これまで説明したようなネットワークを作成するには、softmaxが1つしかないと思うので、このようなことができると思います。

inputs = tf.placeholder(tf.float32, [batch_size, maxlength, vocabsize]) 
lengths = tf.placeholders(tf.int32, [batch_size]) 
embeddings = tf.Variable(tf.random_uniform([vocabsize, 256], -1, 1)) 
lstm = {} 
lstm[0] = tf.contrib.rnn.LSTMCell(hidden_layer_size, state_is_tuple=True, initializer=tf.contrib.layers.xavier_initializer(seed=random_seed)) 
lstm[0] = tf.contrib.rnn.DropoutWrapper(lstm[0], output_keep_prob=0.5) 
lstm[0] = tf.contrib.rnn.MultiRNNCell(cells=[lstm[0]] * 1, state_is_tuple=True) 
output_layer = {} 
output_layer[0] = Layer.W(1 * hidden_layer_size, 20, 'OutputLayer') 
output_bias = {} 
output_bias[0] = Layer.b(20, 'OutputBias') 
outputs = {} 
fstate = {} 
with tf.variable_scope("lstm0"): 
    # create the rnn graph at run time 
    outputs[0], fstate[0] = tf.nn.dynamic_rnn(lstm[0], tf.nn.embedding_lookup(embeddings, inputs), 
             sequence_length=lengths, 
             dtype=tf.float32) 
logits = {} 
logits[0] = tf.matmul(tf.concat([f.h for f in fstate[0]], 1), output_layer[0]) + output_bias[0] 
loss = {} 
loss[0] = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(logits=logits[0], labels=labels[0])) 

しかし、今、私は（ドロップアウト後）私のRNNの出力が2つのソフトマックス層に流入したい、サイズ10とサイズ20の別の1誰もがこれを行う方法のアイデアを持っていますか？

おかげ

編集：理想的には私は、このようなこのKnetジュリアライブラリにここで定義されているものとして、ソフトマックスのバージョンを使用したいと思います。 Tensorflowには同等の機能がありますか？ https://github.com/denizyuret/Knet.jl/blob/1ef934cc58f9671f2d85063f88a3d6959a49d088/deprecated/src7/op/actf.jl#L103

Answer 1

あなたは2つのソフトマックス、対応する損失を計算するためにoutput[0]と呼ばdynamic_rnnの出力に次の操作を行うことができます

with tf.variable_scope("softmax_0"): 
    # Transform you RNN output to the right output size = 10 
    W = tf.get_variable("kernel_0", [output[0].get_shape()[1], 10]) 
    logits_0 = tf.matmul(inputs, W) 
    # Apply the softmax function to the logits (of size 10) 
    output_0 = tf.nn.softmax(logits_0, name = "softmax_0") 
    # Compute the loss (as you did in your question) with softmax_cross_entropy_with_logits directly applied on logits 
    loss_0 = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(logits=logits_0, labels=labels[0])) 

with tf.variable_scope("softmax_1"): 
    # Transform you RNN output to the right output size = 20 
    W = tf.get_variable("kernel_1", [output[0].get_shape()[1], 20]) 
    logits_1 = tf.matmul(inputs, W) 
    # Apply the softmax function to the logits (of size 20) 
    output_1 = tf.nn.softmax(logits_1, name = "softmax_1") 
    # Compute the loss (as you did in your question) with softmax_cross_entropy_with_logits directly applied on logits 
    loss_1 = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(logits=logits_1, labels=labels[1])) 

それが関連している場合は、2つの損失を組み合わせることができます何のyについてのコメントで、あなたの質問に答えるために

total_loss = loss_0 + loss_1 

EDIT ：アプリケーションへOUは、特に2つのソフトマックスの出力を実行する必要があります。あなたは、およそ次の操作を行うことができます。

with tf.variable_scope("second_part"): 
    W1 = tf.get_variable("W_1", [output_1.get_shape()[1], n]) 
    W2 = tf.get_variable("W_2", [output_2.get_shape()[1], n]) 
    prediction = tf.matmul(output_1, W1) + tf.matmul(output_2, W2) 
with tf.variable_scope("optimization_part"): 
    loss = tf.reduce_mean(tf.squared_difference(prediction, label)) 

あなたは、定義されたnにW1とW2の列数を必要とします。

Answer 2

あなたのコードでは、サイズ10のsoftmaxレイヤーのログを定義していないので、明示的にそれを行う必要があります。

これが完了したら、tf.nn.softmaxを使用して、両方のロジットテンソルに別々に適用することができます。例えば

、あなたの20クラスのソフトマックステンソルのために：他の層には

softmax20 = tf.nn.softmax(logits[0]) 

、あなたができる：

output_layer[1] = Layer.W(1 * hidden_layer_size, 10, 'OutputLayer10') 
output_bias[1] = Layer.b(10, 'OutputBias10') 

logits[1] = tf.matmul(tf.concat([f.h for f in fstate[0]], 1), 
output_layer[1]) + output_bias[1] 

softmax10 = tf.nn.softmax(logits[1]) 

あなたはソフトマックスを適用することができますtf.contrib.layers.softmaxもあります2次元以上のテンソルの最終軸上にありますが、そのようなものは必要ないように見えます。 tf.nn.softmaxはここで動作します。

サイドノート：output_layerは、そのリストの最大の名前ではありません。重みを含むものである必要があります。これらの重みと偏り（output_layer、output_bias）も、ネットワークの出力レイヤーを表すものではありません（あなたのsoftmax出力に何をしているのでしょうか？）。 [申し訳ありません、自分自身を助けることができませんでした。]