Tensorflowバッチ引数

Question

バッチ処理はfeed_dictsよりもきれいに見えるので、私はTensorflowでバッチ処理を理解しようとしています。

以下のコードブロックは、バッチ内に32個の同一イメージを作成し、キューにフィードしますか？

# Creates batches of 32 images and 32 labels. 
image_batch, label_batch = tf.train.shuffle_batch(
     [single_image, single_label], 
     batch_size=32, 
     num_threads=4, 
     capacity=50000, 
     min_after_dequeue=10000) 

コンテキストのビット：私は現在、約50Kの行を含む単一のファイルを持っています。私はtf.train.string_input_producerとtf.decode_csvを使用してcsvから行を読みますが、何をtf.train.shuffle_batchに引数として渡すか、個々の行またはファイルから読み込まれたすべての行を含むテンソルを混同しています。

Answer 1

質問のコードスニペットでは、テンソルsingle_imageとsingle_labelが1つの画像とその関連ラベルに対応しています。 tf.train.shuffle_batch()、image_batchおよびlabel_batchから返されたテンソルは、恐らく32個の異なる画像と、関連する32個のラベルに対応しています。 TensorFlowはtf.RandomShuffleQueueを内部的に使用してデータをシャッフルし、single_imageとsingle_labelを評価する追加のスレッドを作成して、このキューに追加できるようにします。

tf.train.shuffle_batch()関数は、渡す引数によって異なる動作をします。たとえば、enqueue_many=Trueを渡すと、tensors引数のテンソルは要素のバッチとして解釈され、TensorFlowはそれらを先頭の次元に結合します（したがって、各テンソルは0次元の同じサイズでなければなりません）。 enqueue_many=Trueを使用すると、データセット全体をtf.train.shuffle_batch()に渡すことも、要素のバッチを渡すこともできます（たとえば、tf.ReaderBase.read_up_to()を使用）。

---

  *バッチ機能のシャッフルバージョンを使用しているので、私は「多分、違う」と言うと、あなたのデータセットがcapacityとmin_after_dequeue引数に比べて小さい場合、あなたが表示されることがあります1つのバッチで同じサンプルの複数のコピーを作成します。