2017-05-05 7 views
0

モデルを復元し、重み、バイアス、およびbatch_normレイヤのパラメータをチェックポイントファイルから抽出できます。 複数のチェックポイントファイル(開始モデルなど)では、BNレイヤのスケーリング/ガンマファクタを見つけることができません。Tensorflowモデルを復元する:チェックポイントファイル内のbatch_normレイヤーのガンマ/スケールを見つけることができません

例えば、公共inceptionV3チェックポイントでは、私が見つけることができます。 InceptionV3/Mixed_5d/Branch_2/Conv2d_0a_1x1/BatchNorm/moving_mean (DT_FLOAT) [64] InceptionV3/Mixed_5d/Branch_2/Conv2d_0a_1x1/BatchNorm/moving_variance (DT_FLOAT) [64] InceptionV3/Mixed_5d/Branch_2/Conv2d_0a_1x1/BatchNorm/beta (DT_FLOAT) [64]

しかし、InceptionV3/Mixed_5d/Branch_2/Conv2d_0a_1x1/BatchNorm/gammaようなものは何もありません。

どのようにしてガンマ値を得ることができますか、またはデフォルトでは1にリサイズされますか?

ありがとうございます!

答えて

1

ほとんどのネットワークでは、デフォルトではスケーリング/ガンマパラメータなしでSLIMのbatch_normが使用されています。

スケール:Trueの場合は、gammaを掛けます。 Falseの場合、gammaは です。次の層が線形(例えば、nn.relu)である場合、これは を無効にすることができる。なぜなら、スケーリングは次の層によって行われるからである。

https://github.com/tensorflow/tensorflow/blob/master/tensorflow/contrib/layers/python/layers/layers.py#L365-L386

1

私はスリムなライブラリのpretrained inceptionV2と同じ問題を抱えています。

def _batch_norm_arg_scope(list_ops, 
          use_batch_norm=True, 
          batch_norm_decay=0.9997, 
          batch_norm_epsilon=0.001, 
          batch_norm_scale=False, 
          train_batch_norm=False): 
    """Slim arg scope for InceptionV2 batch norm.""" 
    if use_batch_norm: 
     batch_norm_params = { 
      'is_training': train_batch_norm, 
      'scale': batch_norm_scale, 
      'decay': batch_norm_decay, 
      'epsilon': batch_norm_epsilon 
     } 
     normalizer_fn = slim.batch_norm 
    else: 
     normalizer_fn = None 
     batch_norm_params = None 

    return slim.arg_scope(list_ops, 
          normalizer_fn=normalizer_fn, 
          normalizer_params=batch_norm_params) 

私はスリムなライブラリでarg_scopeを使用して解決:まず、私はこのarg_scopeを使用していた

、私はその問題を得ました。

単純である
with slim.arg_scope(inception_v2.inception_v2_arg_scope()): 

def inception_arg_scope(weight_decay=0.00004, 
         use_batch_norm=True, 
         batch_norm_decay=0.9997, 
         batch_norm_epsilon=0.001, 
         activation_fn=tf.nn.relu): 
    """Defines the default arg scope for inception models. 

    Args: 
    weight_decay: The weight decay to use for regularizing the model. 
    use_batch_norm: "If `True`, batch_norm is applied after each convolution. 
    batch_norm_decay: Decay for batch norm moving average. 
    batch_norm_epsilon: Small float added to variance to avoid dividing by zero 
     in batch norm. 
    activation_fn: Activation function for conv2d. 

    Returns: 
    An `arg_scope` to use for the inception models. 
    """ 
    batch_norm_params = { 
     # Decay for the moving averages. 
     'decay': batch_norm_decay, 
     # epsilon to prevent 0s in variance. 
     'epsilon': batch_norm_epsilon, 
     # collection containing update_ops. 
     'updates_collections': tf.GraphKeys.UPDATE_OPS, 
     # use fused batch norm if possible. 
     'fused': None, 
    } 
    if use_batch_norm: 
    normalizer_fn = slim.batch_norm 
    normalizer_params = batch_norm_params 
    else: 
    normalizer_fn = None 
    normalizer_params = {} 
    # Set weight_decay for weights in Conv and FC layers. 
    with slim.arg_scope([slim.conv2d, slim.fully_connected], 
         weights_regularizer=slim.l2_regularizer(weight_decay)): 
    with slim.arg_scope(
     [slim.conv2d], 
     weights_initializer=slim.variance_scaling_initializer(), 
     activation_fn=activation_fn, 
     normalizer_fn=normalizer_fn, 
     normalizer_params=normalizer_params) as sc: 
     return sc 
関連する問題