ILSVRC12でZFNetを学ぶとき、テスト精度が向上しない

Question

私の研究に自家製のZFNet（prototxt）を実装しました。定義を20k回繰り返した後、テスト精度は約0.001（すなわち1/1000）、テスト損失は約6.9、トレーニング損失は約6.9であり、ネットが1kクラス間で推測ゲームを続けるように見える。私は完全な定義を徹底的にチェックして、新しいトレーニングを開始するためにいくつかのハイパーパラメータを変更しようとしましたが、役に立たなかったので、同じ結果が画面に表示されました....

誰でも私にいくつかの光？前もって感謝します！

---

prototxtのハイパーパラメータは、論文[1]から得られます。この論文の図3のように、レイヤーの入力と出力はすべて正しいと思われます。

微調整は、＃33で説明したように訓練および試験の両方のための入力の

• crop -sは、225代わりの224に設定されています。

• conv3,conv4およびconv5の1ピクセルゼロパディングで、ブロブのサイズを一致させる[1]。

• [1]のconstantからgaussianまでstd: 0.01で変更されたすべての学習可能レイヤーのフィラータイプ。

• weight_decay：PR＃33の@sergeykによって提案されているように0.0005から0.00025に変更。

[1] Zeiler、M.およびファーガス、R.可視化および畳み込みネットワークの理解、ECCV 2014

と貧しい一部を...、私はhere

Answer 1

Aそれを貼り付けいくつかの提案：gaussからxavierへ

1. 変更の初期化。
2. "ReLU"の代わりに"PReLU"アシフトを使用してください。あなたのネットが一旦収束すると、あなたはそれらを取り除くために微調整することができます。
3. base_lrを1桁（または2桁）減らしてみてください。