データセットパイプラインを有効にする方法

Question

queueにデータを供給し続ける2つのスレッドを使いやすく、もう1つはキューからデータを消費して計算を実行するのは簡単です。 。TensorFlowが後1.2.0入力パイプラインとしてDatasetを推奨していますので、私が使用したいDatasetとそのiteratorすなわち、上記課題を達成するために：2つのプロセス、1つの飼料及びその他があり

1. 消費する;
2. パイプラインは、フルまたは空のいずれかを中断し、消費時に計算が終了すると停止します。

P. Threading and Queuesのチュートリアルで、TensorFlowがprocessの代わりにthreadを使用するのはなぜですか？

ありがとうございます。

Answer 1

Distributed tf.contrib.data TensorFlow 1.3以降のパイプラインはまだサポートされていません。私たちは、デバイスやプロセス間でデータセットを分割するサポートを行っていますが、そのサポートはまだ準備ができていません。

一方、目標を達成する最も簡単な方法は、tf.FIFOQueueを使用することです。あなたは次のようにキューから読み取っDatasetを定義することができます。

q = tf.FIFOQueue(...) 

# Define a dummy dataset that contains the same value repeated indefinitely. 
dummy = tf.contrib.data.Dataset.from_tensors(0).repeat(None) 

dataset_from_queue = dummy.map(lambda _: q.dequeue()) 

あなたはその後、dataset_from_queueで他のDataset tranformationsを構成することができます。