マルコフモデルの代わりにRNNを使用するのはなぜですか？

Question

最近、私はthis articleを見つけました。上記のようなリカレントニューラルネットから得られる結果と単純なマルコフチェーンとの違いはどういうものだろうと思いました。

RNNのフードの下で起こっている線形代数を実際に理解していませんが、基本的には、次の文字が何であるかの統計モデルを作るための超畳み込み方法を設計しているようです以前の手紙、マルコフ連鎖で非常に単純に行われていること。

なぜRNNが面白いのですか？より一般化可能な解決策であるか、または私が行方不明になっていることが起こっているかどうかだけですか？

Answer 1

マルコフチェーンはMarkovプロパティを想定しており、「メモリレス」です。次のシンボルの確率は、前のk個のシンボルに基づいて計算される。実際には、遷移行列が指数関数的に増加するので、kは低い値に制限されます（3〜5としましょう）。したがって、隠れマルコフモデルによって生成される文は、非常に矛盾している。

一方、RNN（例えば、LSTM単位を有する）は、Markov特性によって束縛されない。豊富な内部状態により、遠くの依存関係を追跡することができます。

カルパシーのブログには、RNNキャラクターによって生成されたCソースコードが掲載されています。このモデルは、カッコの開閉などの依存関係を印象的にキャプチャします。