tf contrib estimatorでのGPUの使い方

Question

私は雲量4gpusのマシンを持っています。マシン上でGPUを使用するにはどうすればよいですか？見積もり担当者にそれらのすべてを利用させることができますか？

Answer 1

推定子には、「pre-made」と「custom」の2種類があります。

複数のGPUで現在動作している既定の推定値（たとえばDNNClassifier）はありません。すべての計算は1つのGPUで行われます。

「カスタム」見積もりは、お客様が作成する見積もりです。したがって、複数のGPUを活用するなど、好きなことをすることができます。この場合、適切なtf.deviceステートメントをmodel_fnに書き込んで、適切なGPUにopsを割り当てる必要があります（TensorFlow requires複数のGPUを持っている場合はopsを手動で割り当てる必要があります）。これには通常、towersが使用されます。これは、各GPUでモデル構造を繰り返すことを意味します。 docs TensorFlowから：

# Creates a graph. 
c = [] 
for d in ['/gpu:2', '/gpu:3']: 
    with tf.device(d): 
    a = tf.constant([1.0, 2.0, 3.0, 4.0, 5.0, 6.0], shape=[2, 3]) 
    b = tf.constant([1.0, 2.0, 3.0, 4.0, 5.0, 6.0], shape=[3, 2]) 
    c.append(tf.matmul(a, b)) 

上記は、多くの場合、うまく動作しますが、あなたはさらにパフォーマンスを最適化したい場合は、このadvanced guideを参照してください。

CIFAR-10 sampleは、複数のGPUを画像分類の推定に使用する方法を示しています。