Tensorflow - バッチデータを含む入力行列のmatmul

Question

input_xで表されるデータがあります。これは不明なサイズのテンソル（バッチで入力する必要があります）であり、各アイテムのサイズはnです。 input_xはtf.nn.embedding_lookoutとなり、embedのサイズは[?, n, m]となりました。ここで、mは埋め込みサイズ、?は未知のバッチサイズを指します。

これは、ここで説明されています

input_x = tf.placeholder(tf.int32, [None, n], name="input_x") 
embed = tf.nn.embedding_lookup(W, input_x) 

私は今U、行列変数で（今埋め込む行列である）私の入力データの各サンプルを乗算しようとしている、と私は見えることはできませんそれをする方法を得るために。

私は最初にtf.matmulを使用して試しましたが、形状の不一致によるエラーが発生します。私は、（Iもtf.nn.math_ops.から機能を試し、結果は同じであった）Uの寸法を拡大しbatch_matmulを適用することによって、次のことを試みた：

U = tf.Variable(...)  
U1 = tf.expand_dims(U,0) 
h=tf.batch_matmul(embed, U1) 

実際のデータがあるときは、初期コンパイルを通過するが、適用され、私は次のエラーを取得する：

In[0].dim(0) and In[1].dim(0) must be the same: [64,58,128] vs [1,128,128]

なぜこれが起こっている私も知っている - 私はUの次元を複製し、それは今1ですが、minibatchサイズ、64」doesnのフィット。

テンソル行列入力で、その行列乗法を正しく（未知のバッチサイズのために）行うことはできますか？

Answer 1

matmul operationは、行列（2Dテンソル）でのみ作用します。これを行うには2つの主なアプローチがあり、どちらもUが2Dテンソルであると仮定します。

1. 次元テンソルにスライスembed、個別Uでそれらのそれぞれを乗算します。これはおそらく、このようなtf.scan()を使用して行うのが最も簡単です：

   h = tf.scan(lambda a, x: tf.matmul(x, U), embed) 
   

2. 一方、効率が重要な場合、乗算のような単一matmulで行うことができますので、2Dテンソルであることをembedを再構築する方が良いかもしれこの：cはUの列数がある

   embed = tf.reshape(embed, [-1, m]) 
   h = tf.matmul(embed, U) 
   h = tf.reshape(h, [-1, n, c]) 
   

   。最後の形状変更はhが3Dテンソルであることを確認します。0次元は元のx_inputとembedのようなバッチに対応します。

Answer 2

@Strykeによって応答されるように、これを達成する2つの方法がある：

1. tf.scanを再成形1.スキャン、および2はラムダ機能を必要とし、一般的に再帰的な操作のために使用されます。同じもののいくつかの例がここにあります：https://rdipietro.github.io/tensorflow-scan-examples/

2. 私は個人的には直感的ですので、形を変えたいと思います。 3Dテンソルの各行列に2Dテンソルの行列を掛けようとすると、Cijl = Aijk * Bklのように簡単な形で行うことができます。

   A' = tf.reshape(Aijk,[i*j,k]) 
   C' = tf.matmul(A',Bkl) 
   C = tf.reshape(C',[i,j,l]) 
   

Answer 3

前の答えは廃止されました。現在ランク> 2とtf.matmul()サポートテンソル：また

The inputs must be matrices (or tensors of rank > 2, representing batches of matrices), with matching inner dimensions, possibly after transposition.

tf.batch_matmul()を除去し、tf.matmul()は、バッチ乗算を行うには正しい方法ですました。今、あなたは形状(batch_size, n, k)のテンソルを受け取ることになります

import tensorflow as tf 
batch_size, n, m, k = 10, 3, 5, 2 
A = tf.Variable(tf.random_normal(shape=(batch_size, n, m))) 
B = tf.Variable(tf.random_normal(shape=(batch_size, m, k))) 
tf.matmul(A, B) 

：主なアイデアは、次のコードから理解することができます。ここでは何が起こっているのですか？行列mxkのnxmとbatch_sizeの行列のbatch_sizeがあるとします。それぞれのペアについて、nxm X mxkを計算すると、nxkという行列が得られます。それらのうちbatch_sizeがあります。このようなものでも有効である

お知らせ：

A = tf.Variable(tf.random_normal(shape=(a, b, n, m))) 
B = tf.Variable(tf.random_normal(shape=(a, b, m, k))) 
tf.matmul(A, B) 

とだけ一つのことを追加するためにあなたの形状​​