ケラス：ヌル仮説を理解する方法は？

Question

私はケラスを使って深い神経網を訓練しています。得点の1つはval_accです。私は70％のval_accのようになります。これが良いか悪いかをどうやって知るのですか？ニューラルネットはバイナリ分類子なので、1または0を予測しようとしています。データ自体は約65％0、35％1です。私の70％のval_accはいいですか？

Answer 1

精度は、クラシファイアの評価に必ずしも適切なメトリックではありません。たとえば、0よりも正しく1を分類すること（たとえば不正検出など）やその他の方法で分類することが重要になります。したがって、より高い精度（特異性）またはリコール（感度）を持つ分類子を持つことに興味があるかもしれません。言い換えれば、偽陽性は偽陰性よりも高価な場合があります。誤分類（FPなど& FNなど）のコストについて考えている場合、0-1分類の最適な（デフォルトの0.5ではなく）特定のしきい値を正確に計算できます。 ROC曲線とAUCを使用して、分類器のパフォーマンスを調べることもできます（高いAUCほど良い）。最終的には、κ統計を使用して分類子がどれほど有効で効果的かを調べることができます。