私は次のようにいくつかの紙（Resnet紙）は、グラフを持って見つける損失グラフ

Question

のステップの意味は何ですか：

見ての通りの反復が増加したときに、損失が徐々に低下します。しかし、ある時点（赤い矢印）では、損失は急速に減少しています（ステップとして）。この点は何ですか？それは学習率ポイントを変えていますか？ありがとうございました

Answer 1

はい、彼らはその時点で学習率を変更しました。それは、X回の反復ごとに係数で学習率を下げることを意味する学習率スケジュールであってもよいし、損失の高原が検出されたときに学習率を低下させるような別のポリシーであってもよい。