0
ノードを送信し、ノードをテンソルフローGraphDefに送信するか、python APIを使用することができますか?テンソルフローGraphDefのSendノードとReceiveノードを確認できますか?
私は、次のコード
import tensorflow as tf
with tf.device("/gpu:0"):
x = tf.constant(1.0)
with tf.device("/gpu:1"):
y = tf.constant(2.0)
with tf.device("/cpu:0"):
sum = tf.add(x, y)
graph_def = tf.get_default_graph().as_graph_def()
print(graph_def)
を試してみてください。しかしgraph_def
には、送信/ recvのノードがありません。グラフに送信/受信ノードが追加されていますか?x
とy
〜cpu?
それはこれらの2つのノードがどのように行う設定を、分散型だ場合テンソルを渡す? gRPCによって? thx –
はい、分散設定のマシン間のデフォルト転送ではgRPCを使用してテンソルの内容を転送します。ただし、MPIおよびRDMA動詞を含む他のトランスポートも利用できます。ここのアーキテクチャーのdocには、これがどのように動作するかについての概要があります。https://www.tensorflow.org/extend/architecture#worker_service – mrry
私は今、ランタイムに配布されたTensorFlowがprotobuf情報をどのように渡すのかについて詳しく調べています。 'rendezvous_mgr'、' rpc_rendezvous_mgr'と 'base_rendezvous_mgr'の違いは何ですか? –