同期内グラフ複製にはいくつのセッションオブジェクトが必要ですか？

Question

同期イングラフレプリケーションを使用する場合、私はtf.Session.run()を1回だけ呼び出します。

質問1：は、私はまだ各ワーカーのための新しいセッションオブジェクトを作成する必要があり、セッションのターゲットとしてマスターサーバー（tf.Session.run()を呼び出す1）のURLを渡す必要がありますか？

質問2：server.targetを使用して各サーバーのセッションターゲットを取得できますか、具体的にマスターサーバーのURLを指定する必要がありますか。

Answer 1

「グラフ内のレプリケーション」を使用している場合、グラフには計算ノードの複数のコピーが含まれています。通常、デバイスごとに1つのコピーがあります（分散CPUトレーニングを行っている場合はワーカータスク1つ、GPU分散またはローカルのマルチGPUトレーニングを行っている場合）。すべてのレプリカが同じグラフ内にあるため、トレーニングプロセス全体を制御するには、tf.Sessionが1つ必要です。 は、を呼び出さないワーカーにtf.Sessionのオブジェクトを作成する必要があります。

グラフ内のトレーニングでは、パフォーマンスの分離のためにワーカータスクとは別の1つのマスターを持つのが一般的ですが、クライアントプログラムと一緒に配置することができます。その場合は、単に"client"という単一タスクジョブを作成し、そのタスクでserver.targetを使用してセッションを作成します。次の例では、あなたの"client"、"worker"、および"ps"仕事のために、単一のスクリプトを書くことができる方法を示しています。

server = tf.train.Server({"client": ["client_host:2222"], 
          "worker": ["worker_host0:2222", ...], 
          "ps": ["ps_host0:2222", ...]}) 

if job_name == "ps" or job_name == "worker": 
    server.join() 

elif job_name == "client": 
    # Build a replicated graph. 
    # ... 

    sess = tf.Session(server.target) 

    # Insert training loop here. 
    # ...