Google Machine Learningでテンソルフローを使用したモデルがあります。 今私はGPUを使っていくつかの予測をしたいと思います。 これはlinkを見ましたが、予測ではなくGPUでのトレーニングについて説明しています。予測セッションではGPUについては何もありません。Google CloudのGPUを使用したTensorflow
GPUを使用してGoogleマシン学習エンジンを使用して予測できるかどうかを知っていますか？または、GPUでトレーニングを使用すると、私の予測は自動的にGPUで実行されますか？
私は次のコマンドラインを使用しています：このコマンドは、作品が
gcloud ml-engine predict --model ${MODEL_NAME} --json-instances request.json
、それがCPUを使用しています。 追加情報：私のモデルはus-east1ゾーンに掲載されており、スケールは自動的に表示されます。
ml-engineでの予測にGPUを使用することはできません。デフォルトでGPUを使用しているかどうかは不明です。ドキュメントにリンクしますが、利用可能なものはありません。
しかし、TPUを使用していないことは確かです。現在のところ、Googleは内部サービス用にのみTPUを使用しています。 https://yourstory.com/2017/05/google-cloud-tpus-machine-learning-models-training/
高価なTesla K80 GPUを使用してGoogle Compute Engineを設定することで、同じ価格で予測を実行する方法をさらに詳しくコントロールしたい場合は、TPUクラウドを作成しました。 。あなたのTensorflowモデルもそこで動作し、セットアップは簡単です。
私の提案は、GCEインスタンスを使用してベンチマーク予測を行い、それらをmlエンジンと比較することです。 ml-engineがGCEよりも速い場合、Googleはおそらく予測にGPUを使用しています。確かに、将来的にはGPUとTPUをmlエンジンとして提供することが目標ですが、最近ではHPCクラウドに負荷が集中しています。
ありがとう！それが私がやろうとしていることです！私はこのテーマについて多くを読んで、Googleチームにも電子メールを送った。私はあなたのように私のテストを実行します。 – RMH
このサイトでは、いくつかの情報を持っています
https://cloud.google.com/ml-engine/docs/how-tos/getting-started-training-prediction
しかし、それは訓練と予測する全く異なる方法です。彼らは、サービスインフラストラクチャのトレーニングと予測の手段を提供します。 Tensorflowプログラムでモデルを構築し、そのハードウェアをクラウドSDKで使用するだけです。だからCPUやGPU上で動作するかどうかは気にしないでください。
Tensorflowの観点から、トレーニングと推論はほぼ同じです。特別なトレーニングモードはありません。あなたはわずかに異なるグラフを実行します。トレーニングを実行できる場合は、同じマシンで推論を実行できます。 –
Peterさん、ありがとうございましたが、私はこのコマンドを使用していませんでしたが、次のコマンドを使用しています： gcloud ml-engine predict --model $ {MODEL_NAME} --json-instances $ {MY_JSON} GPUで予測を実行したいこのコマンドで。どうやってやるの？ それは私の疑問です.... – RMH
多分私は間違っていますが、 'gcloud ml-engineは予測を実行するCloud MLエンジンのオンライン予測'です。あなたはこれをオンラインで実行しているようです。 Googleでは、サーバーにTPU（Tensor Processing Unit）を使用しています。この場合、「GPUで実行する」が意味をなさないかどうかはわかりません。 – Automatico