双方向LSTMの集約レイヤー

私はtflearnを使用して多対1の設定（感情分析タスク）で双方向LSTMを使用しています。確率的な出力を得るためにソフトマックスレイヤーに送る前に、順方向および逆方向のLSTMレイヤーからどのように集約表現を集めるのかを理解したいですか？たとえば、次の図では、通常、連結層と集約層はどのように実装されていますか？双方向LSTMの集約レイヤー

この上で利用可能なドキュメントはありますか？

ありがとうございました！

出典

2017-07-20 user7009553

上記の図に示すように、tflearnのBidirectional RNNを使用すると、出力が連結されます。したがって、出力はそれぞれ、入力埋め込みサイズの2倍になります。デフォルトの設定では、最後のシーケンス出力のみが返されるため、シーケンス全体を使用する場合は、return_seq=Trueを設定し、シーケンスをMergeのような集約レイヤーに渡す必要があります。

出典

2017-07-23 21:15:42

ありがとうございます。私は、以下に示す双方向のセンチメント分析の例でどのようにアグリゲーションレイヤーを使用しないのだろうと思っていました。 https://github.com/tflearn/tflearn/blob/master/examples/nlp/bidirectional_lstm.py – user7009553

私が答えたところでは、 'bidirectional_rnn'のデフォルト設定は、最後のシーケンス出力（word3の出力はあなたのイチジク）。このレイヤーは最後の2つのレイヤーに依存するため、この出力だけが分類に十分適しています。他の2つの出力は無視され、集約のスコープはありません。 –

双方向LSTMの集約レイヤー

答えて

関連する問題