Seq2Seqモデルの重み付け

Question

私はコードを実行し、重要な点は把握していません。

エンコーダーとデコーダーのモデルの重み行列と、どこで更新されるのかわかりません。私はtarget_weightsを見つけましたが、get_batch（）コールごとに再初期化されているように見えます。

私の実際の目標は、モデルと一緒に訓練しなければならない重み行列を使って線形変換を適用することによって、1つのデコーダに対して2つのソースエンコーダの2つの非表示状態を連結することです（manytooneモデルを構築します）。上記の私の問題のためにどこから始めるべきか分かりません。

お手数ですがお寄せいただきありがとうございます。

BG

Answer 1

これは役立つかもしれません。 tensorflow.python.ops.seq2seq.pyには2つのモデルがありますが（バケツの有無は問わない）、embedding_attention_seq2seqの定義を参照してください（参照モデルのseq2seq_model.pyで呼び出されているようです）：

def embedding_attention_seq2seq(encoder_inputs, decoder_inputs, cell, 
           num_encoder_symbols, num_decoder_symbols, 
           num_heads=1, output_projection=None, 
           feed_previous=False, dtype=dtypes.float32, 
           scope=None, initial_state_attention=False): 

    with variable_scope.variable_scope(scope or "embedding_attention_seq2seq"): 
    # Encoder. 
    encoder_cell = rnn_cell.EmbeddingWrapper(cell, num_encoder_symbols) 
    encoder_outputs, encoder_state = rnn.rnn(
     encoder_cell, encoder_inputs, dtype=dtype) 

    # First calculate a concatenation of encoder outputs to put attention on. 
    top_states = [array_ops.reshape(e, [-1, 1, cell.output_size]) 
        for e in encoder_outputs] 
    attention_states = array_ops.concat(1, top_states) 
    .... 

エンコーダの出力の最上位レイヤーをtop_statesと選択してから、デコーダに渡すことができます。

したがって、2つのエンコーダで同様の機能を実装し、それらの状態を連結してデコーダに渡すことができます。

Answer 2

get_batch関数で作成された値は、最初の繰り返しでのみ使用されます。ウェイトは毎回関数に渡されますが、その値はinit関数のSeq2Seqモデルクラスのグローバル変数として更新されます。それらはPAD入力のゼロの重みを作成するget_batch関数で正規化されるので、

with tf.name_scope('Optimizer'): 
     # Gradients and SGD update operation for training the model. 
     params = tf.trainable_variables() 
     if not forward_only: 
      self.gradient_norms = [] 
      self.updates = [] 
      opt = tf.train.GradientDescentOptimizer(self.learning_rate) 
      for b in range(len(buckets)): 
       gradients = tf.gradients(self.losses[b], params) 
       clipped_gradients, norm = tf.clip_by_global_norm(gradients, 
                   max_gradient_norm) 
       self.gradient_norms.append(norm) 
       self.updates.append(opt.apply_gradients(
        zip(clipped_gradients, params), global_step=self.global_step)) 

    self.saver = tf.train.Saver(tf.global_variables()) 

重みがプレースホルダとして別々に供給されます。

# Batch decoder inputs are re-indexed decoder_inputs, we create weights. 
    for length_idx in range(decoder_size): 
     batch_decoder_inputs.append(
      np.array([decoder_inputs[batch_idx][length_idx] 
         for batch_idx in range(self.batch_size)], dtype=np.int32)) 

     # Create target_weights to be 0 for targets that are padding. 
     batch_weight = np.ones(self.batch_size, dtype=np.float32) 
     for batch_idx in range(self.batch_size): 
      # We set weight to 0 if the corresponding target is a PAD symbol. 
      # The corresponding target is decoder_input shifted by 1 forward. 
      if length_idx < decoder_size - 1: 
       target = decoder_inputs[batch_idx][length_idx + 1] 
      if length_idx == decoder_size - 1 or target == data_utils.PAD_ID: 
       batch_weight[batch_idx] = 0.0 
     batch_weights.append(batch_weight)