CUDAを使用しているGPUのトップコマンド

Question

私はcudaとMPIを使用するプロセスを監視しようとしていますが、これを行う方法はありますか？

Answer 1

（おかげで-lで先端のため@jmsuする）のようなので、私はこの情報を組み合わせたものを認識してないんだけど、あなたは生のデータを取得するためにnvidia-smiツールを使用することができます。

$ nvidia-smi -q -g 0 -d UTILIZATION -l 

==============NVSMI LOG============== 

Timestamp      : Tue Nov 22 11:50:05 2011 

Driver Version     : 275.19 

Attached GPUs     : 2 

GPU 0:1:0 
    Utilization 
     Gpu      : 0 % 
     Memory     : 0 % 

Answer 2

hereから最新の安定したCUDAドライバ（4.2）をダウンロードしてインストールしてください。 Linuxの場合、nVidia-smi 295.41は、あなたが望むものだけを提供します。 nvidia-smiを使用します。

[root@localhost release]# nvidia-smi 
Wed Sep 26 23:16:16 2012  
+------------------------------------------------------+      
| NVIDIA-SMI 3.295.41 Driver Version: 295.41   |      
|-------------------------------+----------------------+----------------------+ 
| Nb. Name      | Bus Id  Disp. | Volatile ECC SB/DB | 
| Fan Temp Power Usage /Cap | Memory Usage   | GPU Util. Compute M. | 
|===============================+======================+======================| 
| 0. Tesla C2050    | 0000:05:00.0 On  |   0   0 | 
| 30% 62 C P0 N/A/N/A | 3% 70MB/2687MB | 44%  Default | 
|-------------------------------+----------------------+----------------------| 
| Compute processes:            GPU Memory | 
| GPU PID  Process name          Usage  | 
|=============================================================================| 
| 0. 7336  ./align             61MB | 
+-----------------------------------------------------------------------------+ 

EDIT：最新のNVIDIAドライバでは、このサポートは、テスラカードに限定されています。

Answer 3

これはエレガントではないかもしれないが、あなたは

while true; do sleep 2; nvidia-smi; done 

を試すことができます私はまた、作品@Edric、方法を試してみましたが、私はnvidia-smiの元のレイアウトを好みます。

Answer 4

使用されるリソースに関するリアルタイムの洞察を得るために、ん：

nvidia-smi -l 1

この意志ループと毎秒でのビューを呼び出します。

コンソールの歴史の中でループしたコールの過去の痕跡を維持したくない場合は、あなたも行うことができます：

0.1秒で、時間間隔である

watch -n0.1 nvidia-smi

。

Answer 5

別の有用な監視アプローチは、あなたのGPUを消費するプロセスでろ過psを使用することです。

ps f -o user,pgrp,pid,pcpu,pmem,start,time,command -p `lsof -n -w -t /dev/nvidia*` 

は、それはすべてのNVIDIA GPU-利用プロセスおよびそれらに関するいくつかの統計を紹介します：私はこの1つをたくさん使用しています。 lsof ...は、現在のユーザが所有するNVIDIA GPUを使用するすべてのプロセスのリストを取得し、ps -p ...は、これらのプロセスの結果をpsと表示します。 ps fは、子/親プロセスの関係/階層に適した書式を示し、-oはカスタム書式を指定します。これはちょうどps uを実行するのに似ていますが、プロセスグループIDを追加して他のいくつかのフィールドを削除します。

nvidia-smi以上の利点の1つは、プロセスフォークとGPUを使用するメインプロセスが表示されることです。

ただし、1つの欠点は、コマンドを実行するユーザーが所有するプロセスに限定されていることです。任意のユーザーが所有するすべてのプロセスまで開くには、lsofの前にsudoを追加します。

最後に、それをwatchと組み合わせて、継続的なアップデートを取得します。

のような出力がある

watch -n 0.1 'ps f -o user,pgrp,pid,pcpu,pmem,start,time,command -p `sudo lsof -n -w -t /dev/nvidia*`' 

：

Every 0.1s: ps f -o user,pgrp,pid,pcpu,pmem,start,time,command -p `sudo lsof -n -w -t /dev/nvi... Mon Jun 6 14:03:20 2016 
USER  PGRP PID %CPU %MEM STARTED  TIME COMMAND 
grisait+ 27294 50934 0.0 0.1 Jun 02 00:01:40 /opt/google/chrome/chrome --type=gpu-process --channel=50877.0.2015482623 
grisait+ 27294 50941 0.0 0.0 Jun 02 00:00:00 \_ /opt/google/chrome/chrome --type=gpu-broker 
grisait+ 53596 53596 36.6 1.1 13:47:06 00:05:57 python -u process_examples.py 
grisait+ 53596 33428 6.9 0.5 14:02:09 00:00:04 \_ python -u process_examples.py 
grisait+ 53596 33773 7.5 0.5 14:02:19 00:00:04 \_ python -u process_examples.py 
grisait+ 53596 34174 5.0 0.5 14:02:30 00:00:02 \_ python -u process_examples.py 
grisait+ 28205 28205 905 1.5 13:30:39 04:56:09 python -u train.py 
grisait+ 28205 28387 5.8 0.4 13:30:49 00:01:53 \_ python -u train.py 
grisait+ 28205 28388 5.3 0.4 13:30:49 00:01:45 \_ python -u train.py 
grisait+ 28205 28389 4.5 0.4 13:30:49 00:01:29 \_ python -u train.py 
grisait+ 28205 28390 4.5 0.4 13:30:49 00:01:28 \_ python -u train.py 
grisait+ 28205 28391 4.8 0.4 13:30:49 00:01:34 \_ python -u train.py 

Answer 6

使用引数 "--query-コンピュート・アプリケーション="

nvidia-smi --query-compute-apps=pid,process_name,used_memory --format=csv 

をだから、最後に、それは次のようになります

詳細については、

nvidia-smi --help-query-compute-app