TensorFlow配置アルゴリズム

Question

TensorFlowの配置アルゴリズム（ホワイトペーパーに記載）が実際に採用される時期を知りたいと思います。これまで見たTensorFlowを配布するためのすべての例は、 "tf.device（）"を使ってノードを実行する場所を手動で指定するようです。

Answer 1

TensorFlow whitepaperのセクション3.2.1で説明した動的配置アルゴリズムは、オープンソースリリースには含まれていませんでした。代わりに、 "シンプルプレーサー"（実装はsimple_placer.ccにあります）が使用されますが、効率的な配置を行うには明示的なアノテーション（tf.device()経由）が必要です。 tf.train.replica_device_setter()のような上位レベルの構造体は、「パラメータサーバー間で変数を分割し、すべてのopsをワーカーデバイスに配置する」などの共通ポリシーを指定するためにtf.device()をラップし、これをdistributed trainingで広く使用します。

実際には、アノテーションの小さなセットは、通常、動的配置が決定するよりも効率的な配置をもたらすが、配置アルゴリズムを改善することは依然として積極的な研究の領域であることがわかった。