なぜ畳み込みニューラルネットワークで低損失が可能であるが、精度は非常に低いのですか？

Question

私は機械学習が初めてで、3つの畳み込みレイヤーと1つの完全に接続されたレイヤーを持つ畳み込みニューラルネットを訓練しようとしています。私は25％のドロップアウト確率と0.0001の学習率を使用しています。私は6000 150x200のトレーニング画像と13の出力クラスを持っています。私はテンソルフローを使用しています。私は損失が着実に減少している傾向に気付いていますが、私の正確さはほんの少ししか上昇せず、その後再び下がります。私のトレーニングイメージは青い線で、私の検証イメージはオレンジ色の線です。 x軸はステップです。

そこに私は理解していないです何かがあるか、この現象の原因何ができるかどうかは疑問に思って？私が読んだ資料から、低損失は高い精度を意味すると仮定しました。 ここに私の損失機能があります。 損失と精度が全く異なる2つの事柄（よく、少なくとも論理的に）しているため！である

cost = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(pred, y)) 

Answer 1

あなたは自動的にloss、accuracy増加を最小限にしようとすると、この場合

loss = (1-accuracy) 

：

は、あなたのようにlossを定義している例を考えてみましょう。それはどんな意味がありませんが、それは技術的にはまだ有効な損失関数であり、あなたのweightsはまだそのようlossを最小限にするために調整されてい

loss = average(prediction_probabilities) 

：

は今、あなたのようにlossを定義する別の例を考えてみましょう。

このように、この場合、lossとaccuracyの間には関係がないため、同時に両方を増減することは期待できません。

注：Lossは常に最小化されます（したがって、各反復後にlossが減少します）。

PS：最小化しようとしているloss機能で質問を更新してください。

Answer 2

softmax_cross_entropy_with_logits（）及び精度が異なる式の定義を有する2つの異なる概念です。通常の場合、ソフトマックスクロスエントロピーを最小限に抑えて精度を向上させることが期待できますが、それらはさまざまな方法で計算されるため、常に同期して増減することは期待できません。

それは、ニューラルネットワークのトレーニングのための効果的ですので、私たちは、CNNでのソフトマックスクロスエントロピーを使用しています。損失関数として損失=（1精度）を使用すると、現在成熟しているバックプロジェクショントレーニングソリューションを使用したCNNニューラルネットワークの重みを調整することでより良い結果を得ることは非常に困難です。実際に行ってこの結論を確認しました。自分で試してみてください。おそらくそれは我々のニューロンの定義（他のタイプのニューロンに変更する必要があります）によって引き起こされているかもしれませんが、とにかく、現時点では、損失関数の精度を使用することは効果的な方法ではありませんこれらのAI科学者が私たちに語ったようにsoftmax_cross_entropy_with_logits（）を使用するだけで、彼らはすでにこの方法が有効であることを確認しました。他の方法では、まだわかりません。