KerasでマルチGPUトレーニングを行うには？

Question

私のモデルをパラメータを共有しているが、データのバッチが異なる複数のGPUで実行したい。

model.fit()でこれを行うことはできますか？他の選択肢はありますか？

Answer 1

make_parallel関数を使用してください： https://github.com/kuza55/keras-extras/blob/master/utils/multi_gpu.py （これはテンソルフローバックエンドでのみ動作します）。

Answer 2

Kerasは、keras.utils.multi_gpu_modelを使用して複数のGPUでデバイス並列処理をサポートしています（v2.0.9以降）。

現在のところ、Tensorflowバックエンドのみサポートしています。

ここ

良い例（ドキュメント）：また、ここでは取り上げhttps://keras.io/getting-started/faq/#how-can-i-run-a-keras-model-on-multiple-gpus ：https://datascience.stackexchange.com/a/25737