GRUセルのXavier初期化

Question

seq2seq-modelを初期化しようとしています。私はGRUセルを使用していますが、Xavier-Initializationを理解することはできません。 rnn_cell.pyのコードはそれを許していないようです。何か案は？手動でこれを行う必要がありますか？

THX

Answer 1

セルの重みはinitializerパラメータを指定せずにcreated using tf.get_variable()です。 https://www.tensorflow.org/versions/r0.10/api_docs/python/state_ops.html#get_variableから：initializerは（デフォルト）Noneある場合

、変数のスコープに渡されるデフォルトの初期化子が使用されます。

したがって、以下のようなものが動作するはずです：

cell = tf.nn.rnn_cell.GRUCell(256) 
with tf.variable_scope('RNN', initializer=tf.contrib.layers.xavier_initializer()): 
    outputs, state = tf.nn.dynamic_rnn(cell, ...)