multi-gpu

0熱

1答えて

私は、キャッシュメモリと共有メモリの両方に対するレイテンシアクセスがCUDAで同じであることに気づきました。その事実を考えれば、彼らはどう違うのですか？どうやって違う方法で使うのですか？

5熱

1答えて

Google Cloud MXエンジンで大規模な分散Tensorflowモデルを実行しています。私はGPUを搭載したマシンを使いたいです。私のグラフは、入力/データリーダー機能と計算部分の2つの主要な部分で構成されています。 PSタスク、CPUの入力部分、GPUの計算部分に変数を配置したいと考えています。関数tf.train.replica_device_setterは自動的に変数をPSサーバ

1熱

1答えて

Caffeで大きなバッチサイズの複数のGPUを使用しているときにメモリが不足する

今は8台のTITAN Xp GPUを使用できるVGG-Face（非常に大きなモデル）を微調整しています。しかし、私がbatch_sizeを増やすと、Caffeはメモリ不足エラーを出します。私がしたことは次のとおりです。最初に、batch_sizeはトレーニング段階では40に設定され、1つのGPUで正常に動作します。選ばれたGPUはほぼ100％利用されました。その後、nvidia-smi.jpg

1熱

1答えて

MXNetはマルチGPU通信にNvidiaのNCCLライブラリを使用しましたか？

Nvidiaウェブサイトでは、MXNetはNCCL（https://developer.nvidia.com/nccl）を使用していると主張しています。しかし、MXNetのgithubリポジトリから実際にNCCLライブラリを使用している参照は見つかりませんでした。チェイナのブログで、彼らはまた、チェイナが原因チェイナでNCCLライブラリーの使用の4つのGPU上でMXNetよりも優れた性能を達成し

0熱

1答えて

NVRM：RmInitAdapterが失敗しました

4x1080tiを使用してトレーニングモデルを終了すると、2つのケースでサーバーがダウンしました。なぜサーバーがクラッシュしたのですか？私はsysylogを取得し、Nvidia-driverまたはGPUについて何か間違っていることを発見しました。たsyslog：（及びnvidia-bug-report.log） [第1] 9月6日午後九時11分41秒GPU -8-サーバintesightカーネ

4熱

1答えて

なぜ私の訓練のスピードはmulti_gpu_modelで1台のGPUよりも悪いですか？

私のKerasバージョンは2.0.9で、テンソルフローバックエンドを使用しています。私はケラでmulti_gpu_modelを実装しようとしました。しかし、4gpusでのトレーニングは、実際には1gpuよりもさらに悪かった。 1GPUは25秒、4GPUは50秒です。これが起こる理由を教えてください。私は1つのGPU CUDA_VISIBLE_DEVICES=0 python gpu_test.p

1熱

1答えて

TFスリムのinception_v3モデルに複数のGPUを使用

3 GPUを使用してslim modelをトレーニングしようとしています。私は、具体的モデルを割り当てるために第2のGPUを使用するようにTFを伝える： with tf.device('device:GPU:1'): logits, end_points = inception_v3(inputs) しかし、私は私のコードを実行しているGPUのたびにOOMエラーを取得しています。私

4熱

2答えて

Tensorflow Estimatorをデータ並列処理を使用して複数のGPUで実行する方法

標準的なテンソルフロー推定機能があり、複数のGPUで1つではなく複数のGPUで実行したいと考えています。データの並列処理を使用してこれをどのように行うことができますか？私はTensorflow Docsを検索しましたが、例は見つかりませんでした。エスティメーターでは簡単だと言っている文章だけです。 tf.learn.Estimatorを使用して良い例がありますか？チュートリアルなどへのリンクです

0熱

1答えて

Keras/Tensorflow multi GPU OptimizerのInvalidArgumentError

Tensorflowバックエンドを使用してKerasで複数のGPUトレーニングを試してみたい。私はここで説明する機能make_parallelをしようとしています：https://medium.com/@kuza55/transparent-multi-gpu-training-on-tensorflow-with-keras-8b0016fd9012。そのためのコードはここにある（Keras