2017-09-01 7 views
1

カフェでこれを行うことができます。ニューラルネットワークのいくつかの層は大きな学習率を必要とするが、コンバージョン層は小さいlrを必要とするため。別のレイヤーを制御する方法はチェイナーで異なるlrを持つので、オプティマイザは対応するlrに応じて更新できますか?チェーンャーの個々のリンク/機能の学習率を設定する方法は?

答えて

0

あなたは、以下のようなリンクには、optimizerの更新戦略を指定するupdate_ruleの各パラメータ、の詳細については

model.l1.W.update_rule.hyperparam.lr = 0.01

hyperparamを上書きすることができ、私はすでに

で同じ質問に答え

How to implement separate learning rate or optimizer in different layer in Chainer?

ちなみに、チェーンャーの機能には、parameterを更新する必要はありません。 hus関数にはupdate_ruleが含まれていません。

+0

再度お手数をおかけします。 model.l1.W.update_rule.hyperparam.lr = 0.01に設定したとき。この個々のレイヤーの学習率を設定する際に "各エポック後のlr減衰"を適用する方法は? – machen

+0

独自の 'extension'関数を作成して、これらの値を変更することができます。 ラーニングレートコントロールのためのカスタマイズされた拡張の例については、https://gist.github.com/corochann/22ae506123805e1ddece529d8db5b692も参照してください。 – corochann

関連する問題