tf.softmax_cross_entroy_with_logitsの出力は非正規化されていますか？

Question

イメージ分類（バイナリ分類）のための単純なCNNネットワークを実装しました。私はPythonでテンソルフローを使用しています。 私はtf.softmax_cross_entropy_withlogitsをコスト関数として使用しています。私は、私のモデルの出力層から非正規化されたロジットでコスト関数をフィードします。関数は正規化された確率を出力すべきか、あるいは間違っていますか？

私のモデルの訓練中に、私はすべての単一の例の印刷コストです。モデルが出力を正しく予測する場合、コストは0.0になります。そうでなければ、コストは非常に大きく、正規化されていません）。クロスエントロピーを計算する前に関数 'softmaxes'が入力されているのに、出力が非正規化されているのはなぜですか？

Answer 1

クロスエントロピー（あなたの損失関数）をsoftmax（ネットの「仮想」出力 - 以下を参照）と誤解しています。ソフトマックスは正規化されていますが、クロスエントロピーはそうではありません。悪い予測にペナルティを課すために任意に高い値を取ることができます。

正規化されていないネット出力をtf.softmax_cross_entropy_with logitsと組み合わせて使用​​すると、実際にはsoftmax出力は観測されません。コスト関数内で処理され、仮想のままです。 softmaxを調べるには、ネットの正規化されていない出力に対してtf.nn.softmaxを明示的に使用して計算することができます。