AndroidでBI LSTM CTC Tensorflowモデルを使用する

Question

TL; DR、アンドロイドアプリケーションでbi-lstm-ctcテンソルフローモデルを使用する方法を知りたい。

私はbi-lstm-ctcテンソルフローモデルのトレーニングに成功しましたが、今ではそれを私の手書き認識アンドロイドアプリケーションに使用したいと考えています。ここで私が使用グラフを定義するコードの一部です：

self.inputs = tf.placeholder(tf.float32, [None, None, network_config.num_features], name="input") 
self.labels = tf.sparse_placeholder(tf.int32, name="label") 
self.seq_len = tf.placeholder(tf.int32, [None], name="seq_len_input") 

logits = self._bidirectional_lstm_layers(
    network_config.num_hidden_units, 
    network_config.num_layers, 
    network_config.num_classes 
) 

self.global_step = tf.Variable(0, trainable=False) 
self.loss = tf.nn.ctc_loss(labels=self.labels, inputs=logits, sequence_length=self.seq_len) 
self.cost = tf.reduce_mean(self.loss) 

self.optimizer = tf.train.AdamOptimizer(network_config.learning_rate).minimize(self.cost) 
self.decoded, self.log_prob = tf.nn.ctc_beam_search_decoder(inputs=logits, sequence_length=self.seq_len, merge_repeated=False) 
self.dense_decoded = tf.sparse_tensor_to_dense(self.decoded[0], default_value=-1, name="output") 

Iはまた、凍結以下のグラフを凍結し、最適化することに成功し、これtutorialグラフコードを最適化します。ここでモデルを実行することになっているコードの一部です：

bitmap = Bitmap.createScaledBitmap(bitmap, 1024, 128, true); 
int[] intValues = new int[bitmap.getWidth() * bitmap.getHeight()]; 
bitmap.getPixels(intValues, 0, bitmap.getWidth(), 0, 0, bitmap.getWidth(), bitmap.getHeight()); 
float[] floatValues = new float[bitmap.getWidth() * bitmap.getHeight()]; 
for (int i = 0; i < intValues.length; ++i) { 
    final int val = intValues[i]; 
    floatValues[i] = (((val >> 16) & 0xFF)); 
} 
float[] result = new float[80]; 
long[] INPUT_SIZE = new long[]{1, bitmap.getHeight(), bitmap.getWidth()}; 
inferenceInterface.feed(config.getInputName(), floatValues, INPUT_SIZE); 
inferenceInterface.feed("seq_len_input", new int[]{bitmap.getWidth()}, 1); 
inferenceInterface.run(config.getOutputNames()); 
inferenceInterface.fetch(config.getOutputNames()[0], result); 

return result.toString(); 

しかし、私は私が使用したモデルに応じて、これらの問題が発生しました。私は、これらのエラーに対処するための方法は別に

java.io.IOException: Not a valid TensorFlow Graph serialization: NodeDef expected inputs '' do not match 1 inputs 
specified; Op<name=Const; signature= -> output:dtype; attr=value:tensor; attr=dtype:type>; 
NodeDef: stack_bidirectional_rnn/cell_0/bidirectional_rnn/bw/bw/while/add/y = Const[dtype=DT_INT32, 
value=Tensor<type: int32 shape: [] values: 1>](stack_bidirectional_rnn/cell_0/bidirectional_rnn/bw/bw/while/Switch:1) 

：私は最適化され、凍結グラフを使用する場合は

Caused by: java.lang.IllegalArgumentException: No OpKernel was registered to support 
Op 'SparseToDense' with these attrs. Registered devices: [CPU], Registered kernels: 
device='CPU'; T in [DT_STRING]; Tindices in [DT_INT64] 
device='CPU'; T in [DT_STRING]; Tindices in [DT_INT32] 
device='CPU'; T in [DT_BOOL]; Tindices in [DT_INT64] 
device='CPU'; T in [DT_BOOL]; Tindices in [DT_INT32] 
device='CPU'; T in [DT_FLOAT]; Tindices in [DT_INT64] 
device='CPU'; T in [DT_FLOAT]; Tindices in [DT_INT32] 
device='CPU'; T in [DT_INT32]; Tindices in [DT_INT64] 
device='CPU'; T in [DT_INT32]; Tindices in [DT_INT32] 

[[Node: output = SparseToDense[T=DT_INT64, Tindices=DT_INT64, validate_indices=true](CTCBeamSearchDecoder, CTCBeamSearchDecoder:2, CTCBeamSearchDecoder:1, output/default_value)]] 

が、私はこのエラーが発生した：私は凍結されたグラフを使用している場合、私はこのエラーが発生しましたその他の質問/説明：

これらのエラーを解決するにはどうすればよいですか？

Answer 1

私はすでに作っています。この解決策は、github issueでも見つけることができます。

明らかに、問題は使用されたタイプでした。私はint32だけを受け入れるint64を渡していました。その問題に対処するために

self.dense_decoded = tf.sparse_tensor_to_dense(self.decoded[0], default_value=-1, name="output") 

、私はint32型にまばらなテンソル要素をキャスト：

それは私にこのエラーを与えた後にアプリケーションを実行

self.dense_decoded = tf.sparse_to_dense(tf.to_int32(self.decoded[0].indices), 
       tf.to_int32(self.decoded[0].dense_shape), 
       tf.to_int32(self.decoded[0].values), 
       name="output") 

：

java.lang.IllegalArgumentException: Matrix size-incompatible: In[0]: [1,1056], In[1]: [160,128] 
[[Node:stack_bidirectional_rnn/cell_0/bidirectional_rnn/bw/bw/while/bw/basic_lstm_cell/basic_lstm_cell/ 

MatMul = MatMul[T=DT_FLOAT, transpose_a=false, transpose_b=false, _device="/job:localhost/replica:0/task:0/cpu:0"] 

(stack_bidirectional_rnn/cell_0/bidirectional_rnn/bw/bw/while/bw/basic_lstm_cell/basic_lstm_cell/concat, 
stack_bidirectional_rnn/cell_0/bidirectional_rnn/bw/bw/while/bw/basic_lstm_cell/basic_lstm_cell/MatMul/Enter)]] 

いくつかの奇妙な理由で、エラーを修正したJavaコードで、画像の幅を1024から128に変更しました。アプリをもう一度実行すると、次のエラーが表示されます。

java.lang.IllegalArgumentException: cannot use java.nio.FloatArrayBuffer with Tensor of type INT32 

出力をフェッチするときに問題が発生しました。これで、モデルが正常に実行されたことが分かりましたが、アプリケーションは結果を取得できませんでした。

inferenceInterface.run(outputs); 
inferenceInterface.fetch(outputs[0], result); //where the error happens 

出力は整数配列であり、浮動小数点配列ではありません。そこで、結果配列の型をint配列に変更しました。

//float[] result = new float[80]; 
int[] result = new int[80]; 

このようにアプリケーションを動作させます。モデルの精度は、適切に訓練されていないため良くありません。私はそれをアプリケーションで動作させようとしていました。真剣なトレーニングが必要です。