リカレントニューラルネットワークの構成方法は？

Question

私は次のようにモデル化する：

Y（T）= F（X（T-1）、X（T-2）、... X（TK））

または、現在の出力が最後のk個の入力に依存する関数を言うことができます。

1-私は1つの方法は、k個の入力と古典ニューラルネットワークを有することが知っている各yについて{X（T-1）、X（T-2）、... X（TK）}として（t）とそれを訓練する。それでは、RNNを使ってその問題を解決するメリットは何ですか？

2- RNNを使用すると仮定すると、x（t）（またはx（t-1））のみを使用して、隠れたレイヤーがy（t）と過去のk個の入力その記憶（隠れた層）にあることを通して？ Deep RNNやLSTMのようなディープネットを使用すると、最後のk個の入力に基づいて出力を見積もることを考えれば、このような問題に対して優れたメリットがありますか？

Answer 1

1. 古典的なバニラRNNを使用するようお勧めしません。理論的には、以前の入力からの情報をそのメモリに記憶する能力を有するが、事実上、それは潜在的に多数のノードを必要とする。
2. 近代的なアーキテクチャ（LSTMやGRUなど）であれば、古典的なバニラの実装を想定しています。これは、一方向または双方向モデルを使用するかどうかによって異なります。次のステップを予測したい場合は、通常は一方向のアーキテクチャが適しています。あなたが与えられたシーケンスをよりよく分析したいなら、私は双方向のものを適用することをアドバイスします。
3. LSTMとGRUはメモリ内の入力間の時間依存性を維持するのに役立つ追加のメモリセルを使用します。彼らは今、最高のアーキテクチャと考えられています。ディープRNNは、通常、リピートトポロジを持つディープネットワークです。フィードフォワードニューラルネットと同じ方法で深さを利用します。