0

Tensorflowを使用してCIFAR-10データセットを分類するためにCNNをトレーニングしています。私は06_CIFAR-10.ipynb Jupiter NotebookをAWS p2.xlargeインスタンス(1 GPU、4 vCPU、61GB RAM)上で実行しています。私はUbuntu 14 Tensorflow AMIを使って設定しました。リソースを完全に活用する方法

トレーニングには時間がかかります。システムリソースをチェックすると、ほとんどのリソースがまだ利用可能であることがわかります。

$ free -h 
     total  used  free  shared buffers  cached 
Mem:   59G  3.5G  56G  15M  55M  854M 
-/+ buffers/cache:  2.6G  57G 
Swap:   0B   0B   0B 


$ top 
top - 18:10:47 up 1:53, 1 user, load average: 0.47, 0.63, 0.69 
Tasks: 134 total, 1 running, 133 sleeping, 0 stopped, 0 zombie 
%Cpu(s): 19.1 us, 4.6 sy, 0.0 ni, 73.2 id, 0.0 wa, 0.0 hi, 0.3 si, 2.8 st 
KiB Mem: 62881764 total, 3695184 used, 59186580 free, 56792 buffers 
KiB Swap:  0 total,  0 used,  0 free. 875028 cached Mem 

    PID USER  PR NI VIRT RES SHR S %CPU %MEM  TIME+ COMMAND                      
2282 ubuntu 20 0 0.099t 2.192g 202828 S 248.2 3.7 141:55.88 python3                      


$ nvidia-smi 
Sat May 6 18:12:28 2017  
+------------------------------------------------------+      
| NVIDIA-SMI 352.99  Driver Version: 352.99   |      
|-------------------------------+----------------------+----------------------+ 
| GPU Name  Persistence-M| Bus-Id  Disp.A | Volatile Uncorr. ECC | 
| Fan Temp Perf Pwr:Usage/Cap|   Memory-Usage | GPU-Util Compute M. | 
|===============================+======================+======================| 
| 0 Tesla K80   On | 0000:00:1E.0  Off |     0 | 
| N/A 54C P0 67W/149W | 11012MiB/11519MiB |  54%  Default | 
+-------------------------------+----------------------+----------------------+ 

+-----------------------------------------------------------------------------+ 
| Processes:              GPU Memory | 
| GPU  PID Type Process name        Usage  | 
|=============================================================================| 
| 0  2282 C /usr/bin/python3        10954MiB | 
+-----------------------------------------------------------------------------+ 

ボトルネックがどこにあるかをどのように検出できますか?また、すべてのシステムリソースを活用するための推奨事項はありますか?

+0

あなたの最初の質問について:http://stackoverflow.com/questions/34293714/can-i-measure-the-execution-time-of-individual-operations-with-tensorflow/43692312#43692312 – user1735003

答えて

0

高性能の入力パイプラインを使用してソフトウェアパイプライニングの技術を活用するなど、高性能を達成するためにさまざまな改良が施されています。残念ながら、特定の設定に関する詳細情報がない場合、私はさらに診断することができません。背景については

は、(パフォーマンスを改善するためのヒントとテクニック)読み、参照してください。

私はtensorflowベンチマークスクリプトから始まるお勧めしますオープンソースで入手可能:https://github.com/tensorflow/benchmarks

関連する問題