BidirectionalGridLSTMの実装

私はTensorflowのseq2seqモデル[1]を使用してチャットボットを実装しています。これにUbuntu Dialogue Corpusのデータを入力します。私はKalchbrenner et al [2]に記述されている標準LSTM細胞を用いたRNNとGrid LSTM細胞を比較したいと思います。BidirectionalGridLSTMの実装

私は、セクション4.4 [2]で説明されている変換モデルでGrid LSTMセルを実装しようとしていますが、私は双方向部分で苦労しています。

私はBidirectionalGridLSTMCellを使用しようとしましたが、num_frequency_blockの意味がわかりません。彼らはその論文で言及していない。誰でもnum_frequency_blockの意味を知っていますか？ num_frequecy_blocks：[必須] start_freqindex_listとend_freqindex_listで定義されている入力フィーチャー分割全体をカバーするために必要な周波数ブロックのリストです。

また、自分のセルを作成しようとしました。まず、入力を使ってフォワード処理を行い、入力を逆にして逆処理を行います。しかし、これらの結果を連結すると、形状が変化します。例えば。 ValueError：寸法は同じでなければならないが、64と32である形状を変更せずに結果を連結するにはどうすればよいですか？それも可能ですか？

私は双方向グリッドLSTMを実装する方法について、他のヒントを持っていますか？

[1] https://www.tensorflow.org/tutorials/seq2seq/ [2] https://arxiv.org/abs/1507.01526

出典

2017-02-01 siljech

num_frequency_blocksを把握しましたか？私は同じ問題を抱えており、どこでもオンラインで明確な答えを見つけることはできません。 – Wmol

いいえ、申し訳ありませんが、わかりません。 – siljech

-tensorflowが有する双方向LSTMsビルトイン：https://blog.themusio.com/2016/07/18/musios-intent-classifier-2/ ：ここで

https://github.com/aymericdamien/TensorFlow-Examples/blob/master/notebooks/3_NeuralNetworks/bidirectional_rnn.ipynbが意図マッチングのための双方向LSTMsを使用するためのチュートリアルです
2番目の[2]参照リンクがありません。

グリッドを提供していない場合でも、これは参考になるベースラインですか？私はあなたがそれを使用しているのか尋ねるかもしれませんか？

出典

2017-03-10 03:09:41

static_bidirectional_rnn/dynamic_bidirectional_rnnを使用しようとしましたが、入力が2Dで、3Dが必要でした。これを処理する方法がわかりませんでした... MultiRnnCellを修正し、2番目のレイヤーの入力を反転させました：reversed_inputs = array_ops.reverse（current_input、[True、False]）。そして私は[this]（https://arxiv.org/abs/1507.01526）の論文の翻訳モデルを使ってチャットボットを実装しようとしています。双方向ネットワークにグリッドLSTMセルがあります。 – siljech

はチャットボットエンドツーエンドのニューラルネットワークですか？またはあなたはより具体的な目的のためにこれを使用していますか？ –

はい、それはエンドツーエンドのニューラルネットワークです:) – siljech

答えて

関連する問題