0
他のデータベースでネットワークを事前にトレーニングしたとします。オーバーフィット問題のために、私のデータベースは非常に多様ではないので、オーバーフィット問題は非常に深刻です。チェーン化されたネットワークパラメータをチェーンャーv2.0にロードしますが、最初のいくつかのレイヤーを修正したいのですが、チェーンナーv2.0で何を使うべきか、chainer1.0にはvolatileキーワードがありますが、v2では廃止予定です.0。chainer v2.0の学習ネットワークでレイヤパラメータを修正するにはどうすればよいですか?
chainer.no_backprop_mode():
の中でdef __call__
を最初に使用する必要がありますか?
私はチェイナ会社の人に尋ねた、と彼は言った:あなたは後でチェイナv2またはを使用している場合、あなたはどのとオプティマイザが更新されません、= false'のparam.update_rule.enabled '設定することができますパラメータ。 ?それは最善の解決策ですか? – machen
'no_backprop_mode'は、バックプロップでレイヤーのグラディエント計算をスキップしますが、 –
(上記のコメントは間違いです。無視してください)"バックプロップモードなし "は、グラデーション計算をスキップするだけで、' l1' 。 'll'を最適化するために使用したMomentumSGD(事前訓練用)を使用していて、オプティマイザの「状態」(この場合、過去の反復の累積勾配)を消去しなかった場合、このオプティマイザはたとえ勾配がゼロであってもfinetuning(またはステートレスなSGDを使用)のために新しい新しいオプティマイザを使用している場合、パラメータはno backproppモードで変更されません。 –