いつテンソルtの代わりにtf.add（t、0）を直接使うべきですか？

Question

tensorflow.contrib.slim.batch_normでは、moving_meanの値をコピーするためにmath_ops.add(moving_mean, 0)が使用されます。これは、後でpassed to nn.momentsとなります。

moving_meanをnn.momentsに直接渡すだけで問題がありますか？

コピー操作（tf.add(t, 0)）の使用に関するガイドラインはありますか？

Answer 1

問題は、moving_meanが更新される順序によって、shiftとして使用される元のmoving_meanの代わりに、勾配がmoving_meanの更新版を使用する可能性があることです。したがって、同じ値が順方向パスと逆方向パスで使用されていることを確認するために、明示的なコピーを行います。

Answer 2

周囲の情報はあまりありませんが、テンソル参照を通常のテンソルに変換するために使用できます。テンソル参照がテンソルの値を変更した場合、それらをキューにプッシュするとその動作は異なります。これについてはquestionで詳しく読むことができます。