Tensorflowを使用してCIFAR-10データセットを分類するためにCNNをトレーニングしています。私は06_CIFAR-10.ipynb Jupiter NotebookをAWS p2.xlargeインスタンス(1 GPU、4 vCPU、61GB RAM)上で実行しています。私はUbuntu 14 Tensorflow AMIを使って設定しました。リソースを完全に活用する方法
トレーニングには時間がかかります。システムリソースをチェックすると、ほとんどのリソースがまだ利用可能であることがわかります。
$ free -h
total used free shared buffers cached
Mem: 59G 3.5G 56G 15M 55M 854M
-/+ buffers/cache: 2.6G 57G
Swap: 0B 0B 0B
$ top
top - 18:10:47 up 1:53, 1 user, load average: 0.47, 0.63, 0.69
Tasks: 134 total, 1 running, 133 sleeping, 0 stopped, 0 zombie
%Cpu(s): 19.1 us, 4.6 sy, 0.0 ni, 73.2 id, 0.0 wa, 0.0 hi, 0.3 si, 2.8 st
KiB Mem: 62881764 total, 3695184 used, 59186580 free, 56792 buffers
KiB Swap: 0 total, 0 used, 0 free. 875028 cached Mem
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
2282 ubuntu 20 0 0.099t 2.192g 202828 S 248.2 3.7 141:55.88 python3
$ nvidia-smi
Sat May 6 18:12:28 2017
+------------------------------------------------------+
| NVIDIA-SMI 352.99 Driver Version: 352.99 |
|-------------------------------+----------------------+----------------------+
| GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. |
|===============================+======================+======================|
| 0 Tesla K80 On | 0000:00:1E.0 Off | 0 |
| N/A 54C P0 67W/149W | 11012MiB/11519MiB | 54% Default |
+-------------------------------+----------------------+----------------------+
+-----------------------------------------------------------------------------+
| Processes: GPU Memory |
| GPU PID Type Process name Usage |
|=============================================================================|
| 0 2282 C /usr/bin/python3 10954MiB |
+-----------------------------------------------------------------------------+
ボトルネックがどこにあるかをどのように検出できますか?また、すべてのシステムリソースを活用するための推奨事項はありますか?
あなたの最初の質問について:http://stackoverflow.com/questions/34293714/can-i-measure-the-execution-time-of-individual-operations-with-tensorflow/43692312#43692312 – user1735003