Keras/Tensorflow multi GPU OptimizerのInvalidArgumentError

Question

Tensorflowバックエンドを使用してKerasで複数のGPUトレーニングを試してみたい。

私はここで説明する機能make_parallelをしようとしています：https://medium.com/@kuza55/transparent-multi-gpu-training-on-tensorflow-with-keras-8b0016fd9012。そのためのコードはここにある（Keras 2用に更新）：それは、次の例外を除いてクラッシュした単一エポックのために列車フィット実行後

model = make_parallel(create_model(...), 4) 
model.compile(optimizer='adam', loss='mse', metrics=['mae', 'mse',]) 

：

from keras.layers import concatenate 
from keras.layers.core import Lambda 
from keras.models import Model 

import tensorflow as tf 

def make_parallel(model, gpu_count): 
    def get_slice(data, idx, parts): 
     shape = tf.shape(data) 
     size = tf.concat([ shape[:1] // parts, shape[1:] ],axis=0) 
     stride = tf.concat([ shape[:1] // parts, shape[1:]*0 ],axis=0) 
     start = stride * idx 
     return tf.slice(data, start, size) 

    outputs_all = [] 
    for i in range(len(model.outputs)): 
     outputs_all.append([]) 

    #Place a copy of the model on each GPU, each getting a slice of the batch 
    for i in range(gpu_count): 
     with tf.device('/gpu:%d' % i): 
      with tf.name_scope('tower_%d' % i) as scope: 

       inputs = [] 
       #Slice each input into a piece for processing on this GPU 
       for x in model.inputs: 
        input_shape = tuple(x.get_shape().as_list())[1:] 
        slice_n = Lambda(get_slice, output_shape=input_shape, arguments={'idx':i,'parts':gpu_count})(x) 
        inputs.append(slice_n)     

       outputs = model(inputs) 

       if not isinstance(outputs, list): 
        outputs = [outputs] 

       #Save all the outputs for merging back together later 
       for l in range(len(outputs)): 
        outputs_all[l].append(outputs[l]) 

    # merge outputs on CPU 
    with tf.device('/cpu:0'): 
     merged = [] 
     for outputs in outputs_all: 
      merged.append(concatenate(outputs, axis=0)) 

     return Model(inputs=model.inputs, outputs=merged) 

は私がモデルを作成

それは別のGPU上でのモデルの勾配を組み合わせる段階に到達したときに

InvalidArgumentError (see above for traceback): Incompatible shapes: [120,1] vs. [122,1] 
    [[Node: training_6/Adam/gradients/loss_10/concatenate_7_loss/sub_grad/BroadcastGradientArgs = BroadcastGradientArgs[T=DT_INT32, _class=["loc:@loss_10/concatenate_7_loss/sub"], _device="/job:localhost/replica:0/task:0/gpu:0"](training_6/Adam/gradients/loss_10/concatenate_7_loss/sub_grad/Shape/_10935, training_6/Adam/gradients/loss_10/concatenate_7_loss/sub_grad/Shape_1)]] 
    [[Node: training_6/Adam/gradients/concatenate_7/concat_grad/Slice_1/_11003 = _Recv[client_terminated=false, recv_device="/job:localhost/replica:0/task:0/gpu:1", send_device="/job:localhost/replica:0/task:0/cpu:0", send_device_incarnation=1, tensor_name="edge_4728_training_6/Adam/gradients/concatenate_7/concat_grad/Slice_1", tensor_type=DT_FLOAT, _device="/job:localhost/replica:0/task:0/gpu:1"]()]] 

何かがうまくいきません。例外的な互換性のない形状のサイズは、何らかの形でバッチサイズ（ここでは128）に関連しています（つまり、バッチサイズを変更すると互換性のない形状サイズが変わります）。

Answer 1

あなたの問題はhere報告のものと同様であると考えられます。入力データのサイズは、GPUの数の倍数でなければならないようです。

リンクから：

サンプル数はちょうどGPUの総数のみとめする必要があります。

Ex。私は自分の入力で68531個のサンプルを持っていましたが、これを8 GPUで68528まで削ってしまえば、うまくいきました。