Keras - 確率ではなく正規化されていないログを取得する方法

Question

私はKerasでモデルを作成していて、独自のメトリック（perplexity）を計算したいと思っています。これには、非正規化確率/ロジットを使用する必要があります。しかし、kerasモデルは、ソフトマックスprobabiltiesを返す：

 model = Sequential() 
     model.add(embedding_layer) 
     model.add(LSTM(n_hidden, return_sequences=False)) 
     model.add(Dropout(dropout_keep_prob)) 
     model.add(Dense(vocab_size)) 
     model.add(Activation('softmax')) 
     optimizer = RMSprop(lr=self.lr) 

     model.compile(optimizer=optimizer, loss='sparse_categorical_crossentropy') 

Kerasよくある中間層hereの出力を取得するためのソリューションを持っています。もう1つの解はhereです。しかし、これらの答えは、中間の出力を私が必要としない別のモデルに保存します。 カスタムメトリックのログを使用したいとします。カスタムメトリックは、トレーニング中に評価および表示されるように、model.compile()関数に含める必要があります。だから、私はDense層の出力を別のモデルではなく、元のモデルの一部として分離する必要はありません。要するに

、私の質問は以下のとおりです。

• def custom_metric(y_true, y_pred)を使用して概説hereなどのカスタムメトリックを定義し、y_predがlogitsまたは正規化された確率が含まれていますか？

• 正規化された確率を含む場合、正規化されていない確率、つまりDense層によって出力されるログを得るにはどうすればよいですか？

Answer 1

私は溶液

最初に発見したと思い、私は@loannis Nasiosによって概説されるように、私はlogitsを受け取るように線形する活性層を変更します。

第2に、まだ損失関数としてsparse_categorical_crossentropyを取得するには、自分自身の損失関数を定義し、from_logitsパラメータをtrueに設定します。

model.add(embedding_layer) 
model.add(LSTM(n_hidden, return_sequences=False)) 
model.add(Dropout(dropout_keep_prob)) 
model.add(Dense(vocab_size)) 
model.add(Activation('linear')) 
optimizer = RMSprop(lr=self.lr) 


def my_sparse_categorical_crossentropy(y_true, y_pred): 
    return K.sparse_categorical_crossentropy(y_true, y_pred, from_logits=True) 

model.compile(optimizer=optimizer,loss=my_sparse_categorical_crossentropy) 

Answer 2

は、あなたがトレーニングや予測のための別のためのモデルを作ることができ

model = Sequential() 
model.add(embedding_layer) 
model.add(LSTM(n_hidden, return_sequences=False)) 
model.add(Dropout(dropout_keep_prob)) 
model.add(Dense(vocab_size)) 
model.add(Activation('linear')) 
optimizer = RMSprop(lr=self.lr) 

model.compile(optimizer=optimizer, loss='sparse_categorical_crossentropy') 

Answer 3

を線形するソフトマックスからの最後の活性化を変更してみてください。訓練のための

、あなたは、機能的なAPIモデルを使用して、単純に既存のモデルの一部を取り、脇にアクティベーションを残すことができます。

model = yourExistingModelWithSoftmax 
modelForTraining = Model(model.input,model.layers[-2].output) 

#use your loss function in this model: 
modelForTraining.compile(optimizer=optimizer,loss=my_sparse_categorical_crossentropy, metrics=[my_custom_metric]) 

あなたが別の一環として、一つのモデルを持っているので、彼らの両方がします同じ重みを共有する。

• あなたは、あなたが訓練確率を予測する場合modelForTraining.fit()
• を使用し、model.predict()を使用したいです。