分散テンソルフローのマスターに対するパラメータサーバーの比率はどれくらいですか？

Question

それぞれ2台のGPUを搭載した10台のマシンがあり、分散型TensorFlowクラスタを実行したいとします。 VSマスタをいくつ割り当てる必要がありますか？

Answer 1

ネットワークの帯域幅がボトルネックにならないように、最も少数のパラメータサーバを割り当てることがヒューリスティックです。

たとえば、1,000万のパラメータがあり、各計算ステップに1秒かかるとします。これは、作業者が1秒間に40MBのパラメータ更新ベクトルを送信し、同じサイズのパラメータベクトルを受信することを意味します。したがって、各作業者は320 Gbpsデュプレックス帯域幅が必要です。あなたに10人の労働者がいるとします。単一のパラメーターサーバーでは、PSサーバーには3.2 Gbpsの帯域幅が必要です。

ここで、ネットワークカードが1 Gbps全二重通信が可能であるとします。イーサネットカードが飽和しないようにするには、少なくとも4つのパラメータサーバワーカーが必要です。