ニューラルネットワークのパフォーマンスの最適化

Question

私は報告書に記載されている症状に基づいて医学的な報告書を分類しようとしています。私がしているステップは、

1）各医学レポートから症状を抽出する。

2）、トータルの用語は、これまでの総用語はこれまでのところ、3700

3）が診断され、これらの放電の要約に記載されたすべての病気のセットを作成しているすべての医療レポートから抽出されたすべての症状のセットを作成現在、すべての医療レポートを繰り返し、各レポートとその診断用に1つのホットベクトルを作成します。私は5000の文書を持っています。

症状としては、5000 x 3700 の行列が得られます。各行は単一のドキュメントを表し、各列は症状を示します。症状が文書に存在する場合、列の値が1で、それ以外の値がゼロになる症状が診断のために

です、私はX 1500 5000

の行列を取得しています

I am using a backward propagating neural network for training. The network has 3700 input neurons, 1 hidden layer and 1500 output neurons. 

このコードは、ここからhttp://jrmeyer.github.io/tutorial/2016/02/01/TensorFlow-Tutorial.htmlという分類子の作成に使用されています。

問題は、私はそれを訓練どんなに（これまでのところ、私は25000のエポックで試してみました）、私は非常に悪い結果を取得していますということです、

出力は、最大確率値（1）を持つ160+ラベルの中に私は5つのラベルを期待していた。

私は間違っているかもしれない何か、または結果を改善するために何をすべきですか？

アップデート：最小データ（100ドキュメントと85000エポック）でネットワークをテストしようとしました。

問題が発生する可能性がある1つの問題は、各ドキュメントから最大15-20語が抽出されるため、1つのホットベクトルには1と3680が含まれています。これが問題になる可能性がある場合は、誰かに提案することはできますか

Answer 1

問題があることを理解していないと実装している しかし、技術的な問題（バグ、ネットワークアーキテクチャなど）やデータの問題があるかどうかを理解するのに役立つ出発点ですあなたのモデルに合うはずの合成データを作成してください（いくつかの病気を偽造して症状が現れます）

モデルが希望の結果を得られない場合は、技術的な問題である可能性があります。 そうした場合、データに問題が発生する可能性が高くなります。データにノイズが多いか、基礎となるモデルが複雑であるか、データが不足している可能性があります。 （これらは、パフォーマンスを高めるために保証するものではありませんが）ここで

Answer 2

は、あなたが試みることができるいくつかのことです。など、最適な学習率、L2ペナルティを決定する学習曲線

1. プロット
2. 合成データ
3. を生成し、ネットワークの深さをあなたのresponceため