TensorFlowでモデルを実行するために必要なGPUメモリをどのように計算しますか？

Question

テンソルフローで初期化されたinception-resnet-v2モデルで消費されるGPUメモリを簡単に見つける方法はありますか？これには、推論と必要なバックプロパックの記憶が含まれます。

Answer 1

モデルサイズ推定のためのgpu.options.allow_growthとgpu_options.per_process_gpu_memory_fractionを使用すると、現在試行錯誤と退屈なソリューションですので、私はtensorboardとの組み合わせでtf.RunMetadata()を使用することをお勧め。

例：

run_options = tf.RunOptions(trace_level=tf.RunOptions.FULL_TRACE) 
run_metadata = tf.RunMetadata() 
summary, _ = sess.run(train_step, feed_dict, options=run_options, run_metadata=run_metadata) 

train_writer.add_run_metadata(run_metadata, 'step%d' % i) 

は、あなたのモデルとtensorboardを実行して、グラフの所望の部分に移動し、ノードの統計情報をお読みください。

出典：https://www.tensorflow.org/get_started/graph_viz

Answer 2

パラメータを格納するために必要なメモリを明示的に計算することはできますが、トレーニングに必要なすべてのバッファのサイズを計算することは困難です。おそらく、より巧妙な方法はTFがあなたのためにそれをするようにすることでしょう。 gpu_options.allow_growth設定オプションをTrueに設定し、消費量を確認します。もう一つの選択肢は、メモリが足りなくなるまでgpu_options.per_process_gpu_memory_fractionの小さな値を試すことです。