Inception-v3 RMSPropイプシロン= 1を使用して

Question

私はちょうどInception-v3 paperとその訓練コードを著者が公開しました。そして、RMSProp の最適化を行うと、著者はepsilon=1を使用しました。しかし、私の知る限り、人々は通常、1e-10またはいくつかの小さな値を使用し、Tensorflowはデフォルト値を1e-10に設定しました。

私の質問は、どのようにイプシロンが最適化に影響するのでしょうか？なぜイプシロン= 1が必要なのですか？ ありがとうございました！このgithub issueを通じて

Answer 1

は私が価値を説明する記事が見つかりました：インセプションV3の著者の一人は、彼らが非同期SGDでそれを訓練するために、このような高いイプシロンが必要だと説明して、この記事ではhttps://groups.google.com/a/tensorflow.org/d/msg/discuss/1JDPbuHN39w/AVXdYeaDCAAJ

を値と下限値は実際に働くかもしれません同期SGDの方が良い（より良い）。