seq2seqモデルのトレーニング方法の選択

Question

注目型シーケンスを神経細胞翻訳のシーケンスモデルに訓練するにはどのようなトレーニング方法をお勧めしますか？ SGD、Adadelta、Adamまたは何か良い？いくつかのアドバイスを、ありがとう。

Answer 1

Adam、Adadelta、RMSPropなどの適応型勾配アルゴリズムを使用します。私はアダムを使用する傾向があり、常にクリッピングされたグラデーションと組み合わせて使用​​します。

適応型勾配アルゴリズムは、各パラメータの学習率を持っています。これは、いくつかのパラメータがより疎（学習率を上げる）か、まばらにならない（学習率を下げる）モデルがある場合に非常に役立ちます。あなたが神経の機械翻訳のようなもので作業しているならば、この疎なことは問題です。 Adamは少し計算量が多いですが、良い結果が得られます。