categorical_crossentropyケラスの実装

Question

私は蒸留の概念を適用しようとしていますが、基本的に新しい小さなネットワークを訓練して元のものと同じようにするが、計算は少なくて済みます。

私はロジットの代わりにすべてのサンプルに対してsoftmax出力を持っています。

私の質問は、カテゴリクロスエントロピー損失関数はどのように実装されていますか？これと同様 元のラベルの最大値をとり、同じインデックスに対応付け予測値とを乗算し、またはそれは、すべての式が言うようlogits（ワンホットエンコーディング）にわたって加算を行います。

おかげ!!

Answer 1

テンソルフロータグを使用していることがわかります。これは、使用しているバックエンドだと思いますか？

def categorical_crossentropy(output, target, from_logits=False): 
"""Categorical crossentropy between an output tensor and a target tensor. 
# Arguments 
    output: A tensor resulting from a softmax 
     (unless `from_logits` is True, in which 
     case `output` is expected to be the logits). 
    target: A tensor of the same shape as `output`. 
    from_logits: Boolean, whether `output` is the 
     result of a softmax, or is a tensor of logits. 
# Returns 
    Output tensor. 

このコードはkeras source codeから来ています。コードを直接見るとすべての質問に答える必要があります。

編集：ここでは

が興味のあるコードです：

# Note: tf.nn.softmax_cross_entropy_with_logits 
# expects logits, Keras expects probabilities. 
if not from_logits: 
    # scale preds so that the class probas of each sample sum to 1 
    output /= tf.reduce_sum(output, 
          reduction_indices=len(output.get_shape()) - 1, 
          keep_dims=True) 
    # manual computation of crossentropy 
    epsilon = _to_tensor(_EPSILON, output.dtype.base_dtype) 
    output = tf.clip_by_value(output, epsilon, 1. - epsilon) 
    return - tf.reduce_sum(target * tf.log(output), 
          reduction_indices=len(output.get_shape()) - 1) 

あなたがリターンを見れば、彼らはそれを合計... :)