GradientDescentOptimizerを使用しているときに、TensorFlowでバックプロパゲーションが実装されていますか？

Question

TensorFlowのホワイトペーパーでは、勾配はチェーンルールで後方パスで計算されると述べられています。私はTensorboardでチュートリアル "https://github.com/tensorflow/tensorflow/blob/master/tensorflow/examples/tutorials/mnist/mnist_softmax.py"を視覚化しましたが、これが実際に起こっているかどうかを知ることはできませんでした。 テンソルボードビジュアライゼーションにエッジがある場合、データは両方向に流れますか？ （通常、私は有向エッジを期待する） すでに2「update_w」と「update_b」のボックスを見てきました、そして矢印は変数だけからでポイントなぜあなたは迷っている「GradientDescent」ボックス内

Answer 1

しかし、彼らには何も出ていません。

基本的にテンソルボードの矢印は、データの移動方法ではなく依存関係を示しています。彼らは多くの時間が似ています。しかし、matlabのsimulinkのようなものではありません。グラフにはサイクルを入れることはできません。

矢印はこう言っています。「w」、「learning_rate」、「gradients」があるまで、「update_w」を実行することはできません。

「update_w」は「w」を更新しますが、矢印が表示されません。

更新は矢印に沿って後ろには行かない。以下を考慮してください：

x = tf.Variable(0,'x') 
y = tf.Variable(1,'y') 
set_x_eq_y =x.assign(y,name = 'set_x_eq_y') 

ここで、グラフは "y"から "set_x_eq_y"までの矢印を持ちます。矢印が「x」に触れていない。