GPUはデータ並列訓練用のパラメータサーバで効率的ですか？

Question

data parallel trainingで、パラメータサーバは値を保持し、行列乗算などの計算を実行しないため、GPUインスタンスはパラメータサーバにとって必ずしも効率的ではないと思います。

trainingInput: 
    scaleTier: CUSTOM 
    masterType: standard_gpu 
    workerType: standard_gpu 
    parameterServerType: standard_cpu 
    workerCount: 3 
    parameterServerCount: 4 

ことを右です：

はしたがって、私は（他の人のためのパラメータのサーバーのCPUとGPUを使用して）Cloud ML Engineするための例の設定は、以下の優れたコストパフォーマンスをしていると思いますか？

Answer 1

あなたの前提は合理的な経験則です。つまりParagは、パラメータサーバでGPUを活用できるモデルを記述した論文を指しているため、パラメータサーバがGPUを活用できないというわけではありません。

一般的に、短時間で両方を試して、スループットが向上するかどうかを確認したい場合があります。

パラメータサーバに実際に割り当てられているオペレーションについて質問がある場合は、log the device placementとすることができます。 GPUの恩恵を受けることができるパラメータサーバ上にopsがあるように見える場合（そして、実際にそこにいるはずだと仮定した場合）、パラメータサーバでGPUを試すことができます。