エポック以上のレイヤーはありますか？

Question

エポック以上のレイヤーを使用する場合のトレーニングの違いは何ですか？

一貫したハイパーパラメータを仮定して、これらの列車が等しくなければなりませんか？

for epoch in range(20): 
    LSTM 

と

for epoch in range(5): 
    LSTM -> LSTM -> LSTM -> LSTM 

私はトレーニングの後に違いがあるだろうことを理解しています。最初のケースでは、トレーニングされた1つのLSTMセルにテストバッチを送信し、2番目のケースではトレーニングセルを4つ通過させます。私の質問はトレーニングに関係しています。

これらは同一である必要があります。

Answer 1

私は非常に異なる概念間で大きな混乱を招くと思います。私たちは基本に戻りましょう。非常に単純に、教師付き機械学習実験では、いくつかのトレーニングデータXとモデルがあります。モデルは内部パラメータを持つ関数のようなもので、データを与えて予測を返します。ここでは、モデルにLSTMという1つのレイヤーがあるとします。つまり、私たちのモデルのパラメータはLSTMのパラメータです（LSTMを導入した論文を読むべきでないとわからないのであれば、私はその中に入りません）。

エポックとは何か：非常に大まかには、「nエポックのトレーニング」とは、トレーニングデータにn回ループすることを意味します。更新のために各例をn回モデルに表示します。エポックが多いほど、ネットワークはトレーニングデータに慣れていきます。 （私は非常に過度に単純化されている）。

エポックとレイヤーがレイヤーに関連していないことが分かりましたことを願います。レイヤーはモデルが作成したもので、エポックはモデルにいくつかの例題を表示する回数です。

5つのLSTMレイヤーを配置すると、5倍のパラメータが追加されます。しかし、いずれの場合も、1つまたは5つのスタックされたLSTMレイヤーを介して各トレーニングサンプルが送られます...