すべてのテストで同じ項目に分岐するニューラルネットワーク

Question

手書きパターンを認識するために私の多層ニューラルネットワークのすべてのテストで値を分岐させる原因を見つけるのに問題があります。

各列は、特定の文字を表し：ここで

は、出力の写真です。結果は、最初の文字が1行目、2行目の2番目の文字を支配するはずです。

ほとんどのテストでは、すべての値で1文字が支配的です。これの原因は何でしょうか？

Answer 1

回答は、あなたが使用するニューラルネットワークモデルの種類（パーセプトロン、バックプロップ、リカレントニューラルネットワーク、LSTM）にある程度依存することがありますが、NNに入力するデータは気付きやすいものです。あなたが言及した3つの入力は、お互いに非常に近いです。最初の列はお互いに非常に小さな違いがあります。彼らは全く同じです：0.31659と0.31660。 2番目の列はNNに対して同じ課題があります：0.3993。そして3列目もかなり類似しています：0.2657。 NNにとって、それらの値の間に分かれた何らかのマニフォールドを構築することは容易ではありません。お互いにかなり似ているので、3つの列間のコントラストをいくらか増やすことを検討する必要があります。 NNはそれらの変更を重要ではないとみなし、文字を正しく分類する超平面を構築するには多くの反復が必要です。