なぜリカレントニューラルネットワークはすべての隠れニューロンをループするのですか？

Question

私はリカレントニューラルネットワーク（RNN）にメモリを持たせる必要性と、隠されたニューロンの出力を戻すことによってどのようにこれを得るのか理解しています。しかし、なぜ彼らはちょうど入力を保存することはできません;すなわち、一連の入力だけを遅延してフィードバックし、それらの入力の関数である隠れたニューロンではなく、をコンテキストとして使用しますか？

これは隠れ状態全体を戻す（すなわちBPTTの困難）という問題を多く解決したように思われますが、それでもすべてのコンテキストを保持します。定義によると、入力にはコンテキストを計算するために必要なデータがあります。

単一の隠れ層のニューロンがx(t-1) x(t-2)...入力の機能となるため、コンテキストが入力自体ではなく入力自体の関数であっても、これを使用することはできます。したがって、標準のRNNで計算できるものはまだ計算できますが、複雑さはあまりありません。一部のニューロンはx(t)に、また一部はx(t-n)に特化します。

今、誰もこれをやっていないので、私は彼らがそれを考慮して拒否したと想像しなければなりません。どうして？

Answer 1

をご覧ください。http://www-dsi.ing.unifi.it/~paolo/ps/tnn-94-gradient.pdfグラデーション・デセントによる長期依存性の学習は難しい by Bengio at al。 「リカレントニューラルネットワークは...先験的に固定されていない時間量の過去の入力に関する情報を保持することができる内部状態を持っている...対照的に、静的ネットワーク（すなわち、反復接続なし）、彼らは（そのような時間遅延ニューラルネットワークなど）の遅延は有限インパルス応答とを持っている含まれていても無期限のための情報のビットを格納することはできません。

をだから、私が提案するスキームが呼び出されるようですBengioによるTime Delay Neural Networkの主な欠点は、固定された有限の最大メモリがあることです。たとえば、真のRNNと比較すると、（ウィンドウサイズを超えて）acculumatorを実装する方法はありません。ウェイトが特定の情報を保持することは可能ですが（学習するのはおそらく困難です）絶対に。例えば、アキュムレータは実装が容易である。