Tensorflowの実行中にサービングにGPUを使用しているかどうかを確認する方法はありますか？ ./configureでGPUを使用するようにTensorflowを設定しました。Tensorflowの確認方法サービングはGPUインスタンス上でGPUを使用していますか？
推論を実行中にnvidia-smiを監視しようとしましたが、実行中のプロセスが見つかりませんでした。 ./configureを
第二には、あなたが
bazel build -c opt --config=cuda tensorflow/...
と
bazel build -c opt --config=cuda --spawn_strategy=standalone //tensorflow_serving/model_servers:tensorflow_model_server
を使用して提供するTFをコンパイルする必要があるとき
まず、もちろんあなたは、CUDAを使用するように設定する必要があります最後に、GPUを使用している場合にモデルを提供するときの情報を確認することができます：
I 外部/ org_tensorflow/tensorflow /コア/ common_runtime/GPU/gpu_device.cc：965]のプロパティを持つ 見つかりデバイス0：名前：のGeForce GTX 1070の主要：6マイナー： 1 memoryClockRate（ギガヘルツ）： 1.721 pciBusID：0000：01：00.0 totalMemory： 7.92GiB freeMemory：7.76GiB I /外部org_tensorflow/tensorflow /コア/ common_runtime/GPU/gpu_device.cc：1055] 作成TensorFlowデバイス（/デバイス：GPU：0） - >（デバイス：0、名前：GeForce GTX 1070、PCIバスID：0000：01：00.0、計算能力：6.1）
およびc同時にnvidia-smiを聴いてください
+ ---------------------------------- -------------------------------------------------- ---------------------------------------- + |プロセス：____________________________________________________GPUメモリ|
| GPU _______ PID ______タイプ_______プロセス名_______________________使用法| | ==================================== ====================== --- | | 0 _________1215 ________ ________/usr/lib/xorg/Xorg _______________________ 59MiB | | 0 _________ 7341 _______ C ___ ... ing/model_servers/tensorflow_model_server __7653MiB | + ------------------------------------------------ -------------------------------------------------- -------------------------- +
GPUが多く消費されます。