多変量LSTM予測損失と評価

Question

私は時系列回帰問題のための双方向LSTMSを持つCNN-RNNモデルアーキテクチャを持っています。私の損失は50エポックに収束しません。各エポックは20kサンプルあります。損失は​​、0.001 - 0.01の間でバウンスし続けます。

batch_size=1 
epochs = 50 
model.compile(loss='mean_squared_error', optimizer='adam') 
trainingHistory=model.fit(trainX,trainY,epochs=epochs,batch_size=batch_size,shuffle=False) 

1. 私は、 損失は約0.5を滞在するために、誤ってペアにXとYのデータとモデルを訓練しようとしたことは、私のXとY ができる非線形な関係を持っている合理的な結論であります私のモデルで 以上のエポックを学ぶことができますか？
2. 私のモデルの予測はパターンをキャプチャしますが、オフセットを使用して、予測の精度を手動でチェックするための動的時間ワーピング距離を使用します。

モデル：

model = Sequential() 
model.add(LSTM(units=128, dropout=0.05, recurrent_dropout=0.35, return_sequences=True, batch_input_shape=(batch_size,featureSteps,input_dim))) 
model.add(LSTM(units=32, dropout=0.05, recurrent_dropout=0.35, return_sequences=False)) 
model.add(Dense(units=2, activation='softmax')) 
model.compile(loss='categorical_crossentropy', optimizer=opt, metrics=['accuracy']) 

Answer 1

あなたがテストした場合：

• 間違ったデータ：〜0.5
• 正しいデータ損失：その後〜0.01

損失モデル実際に何かを学ぶことができます。

いくつかの可能性があります。

1. あなたの出力データは、お使いのモデルが（勾配更新ステップが大きすぎる現在の学習率の限界に達し、最後の層の活性化
2. の範囲に収まりませんこれ以上モデルを改善することはできません）。
3. あなたのモデルは、タスクにとって十分ではありません。
4. あなたのデータは、ランダムな要因ある程度の

ケース1があります。

は、あなたのYがあなたの最後の活性化関数の範囲内であることを確認してください。 tanh（LSTMのデフォルト）

• 、すべてのYデータが0と1との間に、softmax 0と1
• 間、sigmoidについて間-1と+ 1
• なければならないが、最後の次元が1でないことを確認します。そうでない場合、結果は常に1になります。 reluについては
• あなたが制限された活性化の代わりに、無限大に行くものを持っている場合は、linearについては0と無限大
• の間で、任意の値

収束が良くなります。最初のケースで
は、普段私たちがデフォルトで0.0001で10、で割り、下の学習率で（研修後）モデルを再コンパイルすることができます

ケース2：

データの場合あなたのモデルが停滞した後、学習率を下げてみてください。アダムのデフォルトの学習率が0.0001ある

、私たちは多くの場合、10で割り：

from keras.optimizers import Adam 

#after training enough with the default value: 
model.compile(loss='mse', optimizer=Adam(lr=0.00001) 
trainingHistory2 = model.fit(.........) 

#you can even do this again if you notice that the loss decreased and stopped again: 
model.compile(loss='mse',optimizer=Adam(lr=0.000001) 

を問題は学習率だった場合、これはあなたのモデルは、それがすでにやったよりも多くを学ぶようになります（があるかもしれません最初はオプティマイザが調整されるまでは難しいものもあります）。

ケース3：

あなたは何の成功を持っていない場合は、多分それはモデルの性能を高めるために時間です。 レイヤーにユニットを追加したり、レイヤーを追加したり、モデルを変更したりすることもできます。

ケース4：

ありますが、これについてできることは何も...おそらくません

しかし、あなたはケース3のようにモデルを増加した場合、オーバーフィッティングに注意してください（比較するために、いくつかのテストデータを保持テスト損失対トレーニング損失）。

モデルがあまりにもよくないと、データの重要な洞察を学ぶのではなく、単にデータを覚えるだけです。