LSTMネットワークの勾配の爆発

Question

私は自分のlstmニューラルネットワークをvb.netに作成しました。私がlstmネットワークを読んだことから、爆発/消滅勾配の影響を受けることはありません。ただし、しばらくすると、すべてのグラデーションが最大になります。レートの変更は、これが発生するのにかかる時間にのみ影響します。 lstmネットワークで爆発的な勾配を引き起こす可能性のあるものはありますか？

RMSPropを使用して、32から64の範囲のシーケンスサイズで重みを更新しています。トレーニングデータが[0,1]の範囲にあるピープホールコネクタも含まれています。スペース検索オデッセイ

Answer 1

私はpytorchでLSTMと同じ問題を抱えていた：

私は紙、LSTMそれをオフに基づいて。グラデーションをクリップするのに役立ちました。 また、学習率を変更しようとする可能性があります。