フィードフォワード処理中に0をパディングする方法

Question

さまざまなサイズの入力のリストがあるとします。たとえば、いくつかは形状[10,9,5]の一部が[7,6,5]であるとします。 [10,9,5]と同じサイズのテンソルフローにそれらを供給するために0をパディングするには、行列乗算を行い、パディングされた0の位置に数字を導入する順方向処理中にバイアスを追加する必要があります。だから私はそれらをマスクするために自分でマスク行列を作成しなければならないのですか？あるいは、テンソルフローから簡単な方法がありますか？ありがとう！

ところで、私はシーケンスを摂食していないし、rnnも使用していません。私は動的なrnnを使用することができません

Answer 1

私はあなたがフィードフォワードネットワークにフィードする前に、可変長入力をある固定長テンソルに変換するためにattention mechanismを使用すると思います。