TensorFlow概要with threading

Question

私は、非同期に実行されるTensorFlowグラフに要約を追加しようとしています。シングルスレッドのケースではすべてが動作していますが、マルチスレッドに移行するとサマリーは消えるようです。ここに私がしようとしているもののおもちゃの例があります

import tensorflow as tf # 1.1.0 
import threading 


class Worker: 
    def __init__(self): 
     self.x = tf.Variable([1, -2, 3], tf.float32, name='x') 
     self.y = tf.Variable([-1, 2, -3], tf.float32, name='y') 
     self.dot_product = tf.reduce_sum(tf.multiply(self.x, self.y)) 
     tf.summary.scalar("Dot_Product", self.dot_product) 

    def work(self): 
     for i in range(10): 
      SESS.run(self.dot_product) 

      # Write summary 
      summary_str = SESS.run(tf.summary.merge_all()) 
      WRITER.add_summary(summary_str, i) 
      WRITER.flush() 

COORD = tf.train.Coordinator() 
SESS = tf.Session() 
WRITER = tf.summary.FileWriter(SUMMARY_DIR, SESS.graph) 

# Single Thread case 
w = Worker() 
SESS.run(tf.global_variables_initializer()) 
print(tf.get_collection(tf.GraphKeys.SUMMARIES)) 
w.work() 

これはうまくいきます。しかし、私はマルチスレッドに行く場合：私はwork()内print(tf.get_collection(tf.GraphKeys.SUMMARIES))を置く場合

Exception in thread Thread-2: 
Traceback (most recent call last): 
    File "/usr/lib/python3.5/threading.py", line 914, in _bootstrap_inner 
    self.run() 
    File "/usr/lib/python3.5/threading.py", line 862, in run 
    self._target(*self._args, **self._kwargs) 
    File "/home/anjum/PycharmProjects/junk.py", line 43, in <lambda> 
    job = lambda: worker.work() 
    File "/home/anjum/PycharmProjects/junk.py", line 22, in work 
    summary_str = SESS.run(tf.summary.merge_all()) 
    File "/usr/local/lib/python3.5/dist- 
packages/tensorflow/python/client/session.py", line 778, in run 
    run_metadata_ptr) 
    File "/usr/local/lib/python3.5/dist-packages/tensorflow/python/client/session.py", line 969, in _run 
fetch_handler = _FetchHandler(self._graph, fetches, feed_dict_string) 
    File "/usr/local/lib/python3.5/dist-packages/tensorflow/python/client/session.py", line 408, in __init__ 
self._fetch_mapper = _FetchMapper.for_fetch(fetches) 
    File "/usr/local/lib/python3.5/dist-packages/tensorflow/python/client/session.py", line 227, in for_fetch 
(fetch, type(fetch))) 
TypeError: Fetch argument None has invalid type <class 'NoneType'> 

：tf.summary.merge_all()が、私はそれがすべての要約を見ることができないという事実のため、このようなエラーを取得すると呼ばれるたび

# Multi-thread case 
workers = [Worker() for i in range(4)] 
SESS.run(tf.global_variables_initializer()) 
print(tf.get_collection(tf.GraphKeys.SUMMARIES)) 

worker_threads = [] 
for worker in workers: 
    job = lambda: worker.work() 
    t = threading.Thread(target=job) 
    t.start() 
    worker_threads.append(t) 
COORD.join(worker_threads) 

を空のリストが返されます。つまり、私の要約がどこかで失われているということです。

マルチスレッドで要約を正しく使用する方法を教えてください。

Answer 1

私はそれを理解したと思う - 要約は、代わりにこのようにマージする必要があります。私は100％TensorFlowがなぜこれほど面倒なのかわからない。

class Worker: 
    def __init__(self): 
     self.x = tf.Variable([1, -2, 3], tf.float32, name='x') 
     self.y = tf.Variable([-1, 2, -3], tf.float32, name='y') 
     self.dot_product = tf.reduce_sum(tf.multiply(self.x, self.y)) 
     tf.summary.scalar("Dot_Product", self.dot_product) 

     self.summarise = tf.summary.merge_all() 

    def work(self): 
     for i in range(10): 
      SESS.run(self.dot_product) 

      # Write summary 
      summary = SESS.run(self.summarise) 
      WRITER.add_summary(summary, i) 
      WRITER.flush()