はよく定義されたnext_batch関数ですか？

Question

ニューラルネットワークを使用してコードを書いている間、私たちは通常、以下のようなnext_batch機能を使用します。例えば、ランダム森のような他の方法、SVM、ベイジアンネットワークを用いた場合には

mnist.train.next_batch(batch_size) 

を、 我々は上記のコードを使用する必要はありませんこれは、すべてのトレーニングデータが一度に入力されるためです。 しかし、データにニューラルネットワークを使用する場合は、コードnext_batchを作成する必要があります。もちろんテンソルフローのnext_batch関数コードは、here、 ですが、データがメモリに読み込みにくい場合は、上記の方法は不適切です。 巨大なデータセットに対して、十分に定義されたnext_batch関数が可能ですか？

ありがとうございます。

Answer 1

メモリに収まらない巨大なデータセットの場合、TensorFlowの分散トレーニング用の組み込みサポートを使用できます。

TFプログラマーガイドのreading dataの章を参照してください。具体的には、バッチ処理セクションをお読みください。 また、RNNについてはblog postがあります。最初の部分では、分散トレーニング用のTFサポートの使用方法の簡潔で簡潔な例を示しています。