テンソルフロー内のbatch_lossとtotal_loss = tf.get_total_loss（）

Question

im2txtソースコードをim2txtに読み込むと問題が発生します。

batch_lossとtotal_lossがありますbatch_lossは、すべてのバッチデータに対して計算され、そしてtf.add_loss(batch_loss)呼び出しによってtf.Graphkeys.LOSSESに追加されます。 total_lossにはtf.losses.get_total_loss()があり、すべての損失は平均でtf.Graphkeys.LOSSESです。

質問：パラメータがtotal_lossによって更新されるのはなぜですか？私はこの問題によって何度も混乱しました。

Answer 1

コメントでの議論の要約：

トレーニング損失はミニバッチオーバー往路で計算されます。しかし、実際の損失値は、バックプロットを開始するのに、は必要ありません。バックプロップは、フォワードパスからの値で評価される損失関数導関数に等しいエラー信号で開始されます。したがって、損失額はパラメータの更新に影響を与えず、単にトレーニングプロセスを監視するために報告されます。たとえば、損失が減少しない場合、それはニューラルネットワークモデルとハイパーパラメータを再確認するための記号です。だから、グラフを見栄え良くするために平均化することで、報告された損失を平滑化することは大したことではありません。

詳細はthis postを参照してください。