Tensorflowは利用可能なすべてのGPUにテンソル/オペレーションを割り当てません

Question

私は2つのGPU、6GB GTX Titanと11GB GTX 1080Tiを持っています。

期待：Tensorflowは自動的にすべてのGPUのメモリを使用する必要があります。

リアリティ：Tensorflowは、2つのデバイスをgpu：0とgpu：1としてマップしますが、gpu：0のみを使用し、gpu：1を使用しません。そのメモリ要求をOutOfMemory例外gpu：1。

私がしたいことは、2つのデバイスの11 + 6 = 17 GBのメモリを使用することです。テンソルフローは同じGPUタイプしかサポートしていないかもしれないと思います。異なるタイプの場合は、そのうちの1つを使用しますか？

Answer 1

スピードアップに2種類のGPUを使用することは、テンソルフローが異なるデバイスにopsを配置しないため、悪い習慣だと思います。私は、CPU上でパラメータを同期させ、複数のGPUで非同期トレーニング用に異なるデータを配布する必要がありました。