opt.compute gradients（）はopt.apply勾配の重さの差とは異なります。

Question

opt.apply_gradientがどのように勾配を使用するか説明できますか？時々私は訓練の前と訓練後の体重の違いが単に勾配ではないことを発見しました。

Answer 1

GradientDescentOptimizerでは同じで、他のオプティマイザでは異なるはずです。

あなたは、あなたが使用しないオプティマイザkernels/training_ops.cc

struct ApplyGradientDescent<CPUDevice, T> { 
    void operator()(const CPUDevice& d, typename TTypes<T>::Flat var, 
        typename TTypes<T>::ConstScalar lr, 
        typename TTypes<T>::ConstFlat grad) { 
    var.device(d) -= grad * lr(); 
    }