可変長配列のバケットまたはパディングなしのRNN/LSTMライブラリ

Question

解決しようとする問題は、配列の4つのパラレル入力バッチの分類問題です。これを行うには、完全に接続されたレイヤーでマージする4つのRNN/LSTMが並行して必要です。問題は、各並列バッチで、シーケンスが可変長であることです。

RAMが多すぎるため、最大シーケンス長にはパディングを使用できません。実際には、いくつかのシーケンスは本当に長いです。 モデルが出力を予測できないため、長さを短くしてパディングを使用することはできません。私は完全なシーケンスが必要です、私はシーケンスの興味深い部分がどこにあるかを事前に知ることができません。

シーケンスを1つのバッチで分割すると、3つのバッチの同じインデックスを持つ各シーケンスに対して同じ方法で処理する必要があるため、バケットを使用することはできません。並列シーケンスの長さが同じでないため、モデルは空のシーケンスを多数のクラスのいずれかまたは他のクラスに関連付けようとします。

理論的には、RNN/LSTMは、配列操作なしで異なる長さの配列を学ぶことができなければならない。残念ながら私はそれを可能にする実装を知らない。そのようなRNN/LSTMライブラリは存在する（どの言語でも）？

Answer 1

Theanoは可変長シーケンスを処理できますが、Tensorflowは処理できません。このTheanoでテストし、結果をお知らせください。