DataFeeder
というニューラルネットをトレーニングするのは少し遅いです(h5ファイルから非連続データを読み込むため)。そのため、GPUはアイドル状態(GPU-Utilは0%)の半分のアイドル状態になります。テンソルフローまたはskflowを使用したキュー入力データ
TensorFlowまたはskflowのいずれかで、このボトルネックを回避するために、複数のDataFeeder
を並行して実行する方法はありますか?
DataFeeder
というニューラルネットをトレーニングするのは少し遅いです(h5ファイルから非連続データを読み込むため)。そのため、GPUはアイドル状態(GPU-Utilは0%)の半分のアイドル状態になります。テンソルフローまたはskflowを使用したキュー入力データ
TensorFlowまたはskflowのいずれかで、このボトルネックを回避するために、複数のDataFeeder
を並行して実行する方法はありますか?
Tensorflowは、並行して(およびC++で)データを読み取りキューに入れることができるreader libraryです。これは、あなたが話しているボトルネックを取り除くはずです。
私たちは現在、(今週/来週)tf.learn(skflowの新しい名前)にサポートを追加して使いやすくしています。あなたは、データを読者がサポートしているフォーマットの1つに変換する必要があります(固定lenベクトル、例proto)。
自分で動作させたい場合は、input_builder
ファンクションのリーダーライブラリのopsを使用し、get_feed_dict_fn
のno-opを返す別のDataFeederを作成できます。