深い学習と時系列：変ベクトルの長さ

Question

これは深い学習文脈における様々な長さの時系列での作業についての概念的な質問です：私は時間を含み不規則な間隔で発生する標準化された機能の観測を持って

すべての個別の測定で次に、この多変量時系列（パネルデータ）を各時系列の単一の連続特徴ベクトルに平坦化します。

xxxx(T=2)xxxx(T=4)xxxx(T=5) 
xxxx(T=1)xxxx(T=2) 
xxxx(T=3) 
xxxx(T=1)xxxx(T=2)xxxx(T=3)xxxx(T=5) 

そして、同じ長さにゼロで埋めて末端されています。私は、今、このように見えるこれらのベクター上のバイナリ分類タスクのための深いニューラルネットワークを構築します。

各「xxxxT」は、「x」が非時間的特徴であり、「T」が時間に基づく特徴である観測を表す。私の質問は、ニューラルネットワークがこの時系列の不規則な性質をそれ自身で区別することができると仮定できるかどうかです。

また、断続的に発生していない観測をこのように見えるようにする必要がありますか（「0000」は欠落した観測を埋め込むことを表します）。

0000(T=1)xxxx(T=2)0000(T=3)xxxx(T=4)xxxx(T=5) 
xxxx(T=1)xxxx(T=2)0000(T=3)0000(T=4)0000(T=5) 
0000(T=1)0000(T=2)xxxx(T=3)0000(T=4)0000(T=5) 
xxxx(T=1)xxxx(T=2)xxxx(T=3)0000(T=4)xxxx(T=5) 

私は実際にこれを既に実行し、両方のアプローチの結果を調べました。私は深いニューラルネットワークがこれを "解釈"する方法について誰かが少し光を当てることができるかどうかを見たいと思っていましたか？

Answer 1

リカレントネットを使用している場合は、シーケンス内を埋め込むことをお勧めしません。ウェイトは時間の経過とともに再利用されるため、パディングではなく「実際の」データに対して「機密」である必要があります。

end-of-sequenceパディングでは、 "sequence_length"引数を持つTensorFlowのtf.nn.dynamic_rnnメソッドなど、反復関数にシーケンス長を渡すことによって、この「偽データ」を回避します。このようにして、シーケンスの最後の「本当の」隠れた状態が時間を経てコピーされます。

イントラパディングを主張する場合、シーケンス内の隠れ状態をシーケンス終了パディングのようにコピーする実装が必要です。

右か？