最適なニューラルネットワークの運動量項を得る方法

|私はtorch7にニューラルネットワークを持ち、神経ネットワークの勢いがどのように発展しているかを確認したいと思います。値を使って余分な処理を行い、そのために速度項が必要です。だから私は、次のコードのようなものがあります：最適なニューラルネットワークの運動量項を得る方法

for t = 1, params.num_iterations do 
    local x, losses = optim.adam(feval, img, optim_state) 
     img=postProccess(img,content_imageprep,params) 
     print(velocity) -- how? 
end

を、速度が何をしているか見てみたいです。誰もこれを行う方法を知っていますか？

optim_stateは私は次のように出力

v : CudaTensor - size: 1327104 
    m : CudaTensor - size: 1327104 
    learningRate : 10 
    denom : CudaTensor - size: 1327104 
    t : 4

与える印刷が、私は今ではどのような用語は速度を表す場合、誰もが知っていればと確信していますか？

出典

2017-06-12 Thijser

を見たことがありますか？私は、その用語のを聞いたことがない...あなたが説明できる前に？ –

@ThomasWを重量がで更新されると他方では、より速く収束するように、同じ方向を反復して繰り返すことは、より大きくて大きくすることができる体重が絶え間なく増減すると、正しい値に近づくために更新のサイズを減らすことができます – Thijser

編集：私はその速度=運動量に気づきました – Thijser

あなたはstate引数に勢いの値を見つけることができませんが、あなたの関数呼び出しに存在しないconfig引数（で、その後、運動量の値はデフォルト値に等しくなり、すなわち0.9 beta1と0.999のためにbeta2のために。

は、ニューラルネットワークの速度は何のソースコードhttps://github.com/torch/optim/blob/master/adam.lua#L24

出典

2017-06-13 14:29:47 fonfonx

私が興味を持っているのは実際のものです各重量の運動量の値（彼らが何であるか、そして私が疑う限り実際に無限に移動しているかを見るため）。あなたはこれを行う方法を知っていますか？ – Thijser

最適なニューラルネットワークの運動量項を得る方法

答えて

関連する問題