シーケンス間シーケンスNLPタスクにRNNを適用する方法は？

Question

NLPタスクでシーケンスからシーケンスへのRNNについてかなり混乱しています。以前は、分類タスクのいくつかの神経モデルを実装しました。これらのタスクでは、モデルは単語の埋め込みを入力として受け取り、分類を行うためにネットワークの最後にsoftmaxレイヤーを使用します。しかし、どのように神経モデルseq2seqタスクを行うのですか？入力が単語埋め込みである場合、神経モデルの出力は何ですか？これらのタスクの例には、質問応答、対話システム、機械翻訳が含まれます。

Answer 1

エンコーダ/デコーダアーキテクチャを使用できます。エンコーダ部は入力を固定長のベクトルにエンコードし、デコーダはこのベクトルを出力シーケンスにデコードします。レイヤーのエンコードとデコードは、目的関数（これはやはりソフトマックスを使用することができます）と共同して学習することができます。 this paperを参照してください。これは、このモデルをニューラルマシンの翻訳でどのように使用できるかを示しています。ここで、デコーダは、正しい変換を生成するために、1つずつ単語を発する。