kerasステートフルLSTM

Question

だから私たちは基本的に

Y[i] = X[i-1] 

を持っており、モデルは単に遅れ演算子であり、この単純な例

nb_samples = 100000 
X = np.random.randn(nb_samples) 
Y = X[1:] 
X = X[:-1] 
X = X.reshape((len(Y), 1, 1)) 
Y = Y.reshape((len(Y), 1)) 

をご検討ください。

私はこのモデルをステートレスLSTMで学ぶことができますが、ここではKerasでステートフルなLSTMを理解して適用したいと思います。

だから私は、値

model = Sequential() 
model.add(LSTM(batch_input_shape=(1, 1, 1), 
       output_dim =10, 
       activation='tanh', stateful=True 
     ) 
    ) 
model.add(Dense(output_dim=1, activation='linear')) 
model.compile(loss='mse', optimizer='adam') 


for epoch in range(50): 
    model.fit(X_train, 
       Y_train, 
       nb_epoch = 1, 
       verbose = 2, 
       batch_size = 1, 
       shuffle = False) 
    model.reset_states() 

ずつのペアを与えることによって、ステートフルLSTMで、このモデルを学習しようとする。しかしこのモデルは何かを学ぶことはありません。

for epoch in range(10000): 
    model.reset_states() 
    train_loss = 0 
    for i in range(Y_train.shape[0]): 
     train_loss += model.train_on_batch(X_train[i:i+1], 
         Y_train[i:i+1], 
         ) 
    print '# epoch', epoch, ' loss ', train_loss/float(Y_train.shape[0]) 

を私はまだ私のランダムに生成されたデータの標準偏差である1の周りの平均損失を、見ていたモデルはないので、次のように

は、マルチンの提案を1として、私はトレーニングのコードを修正しました学ばないようです。

私は間違っていますか？

Answer 1

モデルの状態がネットワークのステートフルな状態（パラメータがオプティマイザであるためにリセットされない）であっても、hereと表示されているように、オプティマイザがリカレントニューラルネットワークトレーニングで非常に重要であるため、あなたのトレーニングに非常に有害な可能性があります。その試みを防ぐために：あなたのオプティマイザをリセットしません

for epoch in range(50): 
    model.train_on_batch(X_train, 
       Y_train) 
    model.reset_states() 

train_on_batch方法は、あなたのトレーニングを可能にすることができるもの述べています。