いくつかの古いディスカッション(link1、link2)から、weight_decayパラメータはウェイトに対するL2損失の正則化パラメータであるという考えがありました。たとえば、cifar10 solverでは、weight_decayの値は0.004です。最小限に抑えるべき損失が「クロスエントロピー+ 0.004 * sum_of_L2_Norm_of_all_weights」であることを意味しますか?万一、「クロスエントロピー+ 0.004/2 * sum_of_L2_Norm_of_all_weights」ですか?カフェの重量減少。どのくらい正確に使用されていますか?
2
A
答えて
0
損失は、クロスエントロピー+ 0.004/2 * sum_of_L2_Norm_of_all_weightsのようです。 AlexNet、ソルバーファイル(https://github.com/BVLC/caffe/blob/master/models/bvlc_alexnet/solver.prototxt)の公式カフェの実装を見てみる
はweight_decay = 0.0005を設定し、元のAlexNet紙(http://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf、6ページ)の勾配更新用語
-0.0005を含むがE * * w_i
勾配*損失の偏微分であり、損失の正則化成分は、通常、ラムダとして表されるので||^2 || wが、それは*
weight_decay = 2かのように思えますラムダ
関連する問題
- 1. プレスタサプライヤーからの数量の減少
- 2. フリーコール時にメモリ使用量が減少しない
- 3. Elmで数学タグがどのくらい正確に使用されていますか?
- 4. 輸入品はどれくらいの量のDjangoを減速しますか?
- 5. どのくらいの量のRAMテクスチャが使用されますか?
- 6. Java:LWJGLで作成されたキャラクターモデルなどは、どのくらい正確に作成されていますか?
- 7. W3C Geolocation APIの正確さはどれくらいですか?
- 8. LinearLayout.LayoutParamsでアイテムの重量が正しく設定されない
- 9. Herokuにデプロイされたアプリケーションのメモリ使用量を減らす
- 10. Threejs - バッファーメトリーの使用量はどれくらいですか?
- 11. アプリケーションの重量を減らす方法
- 12. バイナリコードはどのくらい正確に文字に変換されますか?
- 13. java.swing.AbstractListModelで "fireContentsChanged"メソッドをどのくらい正確に使用しますか?
- 14. p2pネットワークはどのくらい正確に接続されますか?
- 15. 管理ユーザーがどこにどのくらい正確に作成されていますか?
- 16. このページの重量を減らすにはどうしたらいいですか?
- 17. Android ScanResultタイムスタンプフィールド - 正確さはどれくらいですか?
- 18. CPU使用量はどれくらいですか
- 19. 少数と正確さの扱い
- 20. 重複キーが正しく使用されていますか?働いていない。 MySQLの/ PHP
- 21. cURLプロセッサの使用量を減らす
- 22. Android:BackStackのメモリ使用量を減らす
- 23. RabbitMQメモリの使用量を減らす
- 24. コアプロットのメモリ使用量を減らす
- 25. function(){}()はどのくらい正確に機能しますか?
- 26. clickViewはどのように正しく使用されていますか?
- 27. スレッドの無限ループ中にプロセッサの使用量を減らすにはどうすればよいですか?
- 28. MemoryCacheはどのくらいの量のメモリを使用しているかを知っていますか?
- 29. デスクトップアプリケーションでの休止状態のメモリ使用量を減らすにはどうすればよいですか?
- 30. コントロールのグループを確認しながら変数の使用量を減らす