GPU + CPU Tensorflowトレーニング

Question

セットアップ

---

Iネットワーク、そのパラメータ大埋め込みマトリックス（サイズ300万X 300）ものを持っているが、embed_matを言います。トレーニング中

は、各ミニバッチについて、私はembedding_lookup OPを使用して選択されるembed_mat（最大15000のベクター）からのベクトルの小さなサブセットを更新します。私はアダムオプティマイザを使用してモデルをトレーニングしています。

GPUにこのembed_matを格納することはできないので、そのサイズのためにCPU（たとえば/ cpu：0）デバイスの下で定義しますが、モデル、オプティマイザなどの残りのパラメータはGPU（例えば、gpu：/ 0）デバイス。

質問

---

1. 私は私のGPUの使用率はすべての私の訓練はCPU上で起こっているを示唆している、（200メガバイト）非常に最小限であることがわかります。私が期待していたのは、embedding_lookupの結果がGPUにコピーされ、すべてのトレーニングがそこで発生するということでした。私は間違ったことをしていますか？

2. トレーニング時間は、私にとって正しいとは思われない埋め込みマトリックスのサイズ（num_vectors）の影響を非常に大きく受けます。どのミニバッチでも、私はネットワークパラメータとベクトルを更新します（〜15000）ので、トレーニング時間は埋め込み行列のサイズに比例して線形に成長するはずです。

3. 私のembed_matを複数のGPUに自動的かつシームレスに分割して、より速いトレーニングをする方法はありますか？

4. 私はこのためにAdam Optimizerを使用していると思われます。 embed_matがCPU上にあるため、すべてのトレーニングがCPU上で行われているように見えます。これは正しいです？

Answer 1

それぞれの操作が配置されているテンソルボードで視覚化してみてください。 「グラフ」タブでは、「デバイス」で色付けすることができます。理想的には、埋め込み変数、埋め込みルックアップ、埋め込み勾配の更新はCPU内になければなりませんが、他のほとんどのものはGPU内になければなりません。