TensorflowのVGG16に関するメモリの問題

Question

私はKaggleの'Planet: Understanding the Amazon from Spaceの画像を分類するために、TensorflowバックエンドでVGG16 Kerasモデルを取得しようとしています。残念ながら、モデルを実行しようとすると、60 GBのメモリを搭載したAWSのg.2.8ラージで実行していても、一貫してメモリの問題が発生します。

問題のトレースバックは次のとおりです。全体のプリントアウトはここで見つけることができ

Layer (type)     Output Shape    Param # 
================================================================= 
input_1 (InputLayer)   (None, 224, 224, 3)  0 
_________________________________________________________________ 
block1_conv1 (Conv2D)  (None, 224, 224, 64)  1792 
_________________________________________________________________ 
block1_conv2 (Conv2D)  (None, 224, 224, 64)  36928 
_________________________________________________________________ 
block1_pool (MaxPooling2D) (None, 112, 112, 64)  0 
_________________________________________________________________ 
block2_conv1 (Conv2D)  (None, 112, 112, 128)  73856 
_________________________________________________________________ 
block2_conv2 (Conv2D)  (None, 112, 112, 128)  147584 
_________________________________________________________________ 
block2_pool (MaxPooling2D) (None, 56, 56, 128)  0 
_________________________________________________________________ 
block3_conv1 (Conv2D)  (None, 56, 56, 256)  295168 
_________________________________________________________________ 
block3_conv2 (Conv2D)  (None, 56, 56, 256)  590080 
_________________________________________________________________ 
block3_conv3 (Conv2D)  (None, 56, 56, 256)  590080 
_________________________________________________________________ 
block3_pool (MaxPooling2D) (None, 28, 28, 256)  0 
_________________________________________________________________ 
block4_conv1 (Conv2D)  (None, 28, 28, 512)  1180160 
_________________________________________________________________ 
block4_conv2 (Conv2D)  (None, 28, 28, 512)  2359808 
_________________________________________________________________ 
block4_conv3 (Conv2D)  (None, 28, 28, 512)  2359808 
_________________________________________________________________ 
block4_pool (MaxPooling2D) (None, 14, 14, 512)  0 
_________________________________________________________________ 
block5_conv1 (Conv2D)  (None, 14, 14, 512)  2359808 
_________________________________________________________________ 
block5_conv2 (Conv2D)  (None, 14, 14, 512)  2359808 
_________________________________________________________________ 
block5_conv3 (Conv2D)  (None, 14, 14, 512)  2359808 
_________________________________________________________________ 
block5_pool (MaxPooling2D) (None, 7, 7, 512)   0 
_________________________________________________________________ 
sequential_1 (Sequential) (None, 1)     6423041 
================================================================= 
Total params: 21,137,729.0 
Trainable params: 21,137,729.0 
Non-trainable params: 0.0 
_________________________________________________________________ 
Traceback (most recent call last): 
    File "VGG16_Kg_Kernel.py", line 160, in <module> 
     train_datagen.fit(x_train) 
     File "/home/ec2-user/src/anaconda3/lib/python3.5/site-packages/keras/preprocessing/image.py", line 648, in fit 
     x = np.copy(x) 
     File "/home/ec2-user/src/anaconda3/lib/python3.5/site-packages/numpy/lib/function_base.py", line 1497, in copy 
     return array(a, order=order, copy=True) 
    MemoryError 

：印刷からhttps://github.com/j-v-k/VGG16/blob/master/error_text.txt

うち、GPUが実行されているように見えますが、そうではないかもしれません完璧に走っている。

データには約100KBの11.6 KBの画像が含まれています。私がモデルを実行するために使用するコードは、ここにあります：https://github.com/j-v-k/VGG16/blob/master/VGG16_Kg_Kernel.py

さらに詳しい情報が必要な場合は教えてください。ありがとうございます！

Answer 1

GPUメモリが不足していて、RAMではありません。 G2には4GBグラフィックスプロセッサが搭載されており、VGG16とTensorflowに問題があるようです。

私はTheanoバックエンドで同じことを実行しており、問題はありませんでした。私はそれを試みることをお勧めしたい。