大規模データセットを使用したトレーニングテンソルフローRNN

Question

テンソルフローでRNNをトレーニングしています。使用される関数はhttps://github.com/tensorflow/tensorflow/blob/master/tensorflow/python/ops/rnn.pyから "rnn"です。

outputs, states = rnn.rnn(cell, inputs, initial_state=initial_state, sequence_length=seq_length) 

この機能を使用する理由は、データシーケンスが可変長であるためです。この関数は、すべてのデータが一度に読み込まれることを期待しています。私のデータは一度にすべてのメモリに収まるわけではないので、データを1つずつ読み込む必要があります。どのようにそれを行うことができます上の任意のポインターは高く評価されるだろう。

おかげ

Answer 1

ここで標準的な方法は、チャンクにデータを分割し、一度にそれにチャンクを動作するようです。たとえば、テキストを使って作業している場合、データを文章に分割して、10〜100文のミニバッチを1つずつトレーニングプロセスに渡すことができます。

これを行う方法の例については、このRNNチュートリアルをご覧ください。

https://www.tensorflow.org/versions/r0.9/tutorials/recurrent/index.html

チュートリアルテキスト自体を詳細に説明するチャンクが、githubの中に関連するコードを見て、それがその入力データとトレーニングのためのバッチそれをロードする方法を見ていません。

https://github.com/tensorflow/tensorflow/tree/master/tensorflow/models/rnn/ptb

役に立てば幸い！