pytorchの変数に指数関数的な移動平均減衰を適用するには？

Question

私は次の論文を読んでいます。また、変数にEMA減衰を使用します。
https://arxiv.org/pdf/1611.01603.pdf

はトレーニング中、モデルのすべての重みの移動平均は0.999の指数関数的な減衰率を維持 です。

これらはTensorFlowを使用しており、EMAの関連コードが見つかりました。
https://github.com/allenai/bi-att-flow/blob/master/basic/model.py#L229

EMAを変数に適用するにはどうすればよいですか？

Answer 1

移動平均は、勾配降下における運動量の重要な概念です。

は PyTorch document、あなたは見つけることができます：

optimizer = torch.optim.SGD(model.parameters(), lr=0.1, momentum=0.9)

変更したい値にパラメータmomentum。