私自身の多層パーセプトロンを初めて実装した後、私は2つの特定のことについて確信が持てませんでした。最初:テストデータを反復処理するとき、ニューラルネットワークの精度が異なるのは正常ですか?たとえば、最初にネットワークを初期化して実行すると、精度は0.7になりますが、2回目はダウンまたはアップする可能性があります。これまで私が気にしてきたことは、ネットワークの初期化を続け、対応するウェイトを最も正確なネットワークに保存することです。 2番目の質問:Jupyter Notebookは、expで遭遇したRuntimeWarning:overflowをスローし続けます。それはあまりにも多くのデータが一度に繰り返されているからですか?バッチ処理を行うことで、ネットワークでデータをより管理しやすくすることができますか? (私はMNISTデータセットを使って作業しています。)コードを投稿する必要があるかどうか教えてください。多層パーセプトロンの典型的な結果は、同じデータに対して異なる反復で異なる結果をもたらすか?
0
A
答えて
0
の重みは、ランダムな値で初期化する必要があります。初期重量によっては、結果が変動し、トレーニング後に出力単位が異なることがあります。しかし、一旦ネットワークが収束すると、計算されたラベルが望ましい限り、これらの小さな変化を省略することができます。 .7は6.9と全く変わらない。あなたが谷を下っていると想像してください。あなたはそれについての事前情報がありません。あなたの目標は谷の表面にすることです。表面にぶつかったことを確認したら、小さな岩の上に座っているのか地面に座っているのかはそれほど重要ではありません。
ニューラルネットワークの全体のアイデアは、ドットプロダクトの周りを回転し、活性化関数を使用して結果をスクラッシュすることを思い出してください。したがって、重みがゼロから始まる場合は、ゼロしか得られません。
2番目の質問に対する答えは「はい」です。小さなニューラルネットワークでも何百万というパラメータがあり、莫大な記憶が必要となる瞬間が来るかもしれないことに注意してください。このような問題を克服する方法があることを心配しないでください! Michael Nielsensの優れた本Neural Networks and Deep Learningをご覧ください。
+0
大変感謝していただきありがとうございます – gian
関連する問題
- 1. ハッシュ異なるデータ - 同じ結果
- 2. SSRSの結果が同じクエリのSSMS結果と異なる
- 3. 同じ方法を使用しても結果が異なる
- 4. 異なる関数、同じ結果
- 5. 同じ機能が異なる結果
- 6. Groovy:同じパラメータ、異なる結果
- 7. python - 同じ命令、異なる結果
- 8. 同じオブジェクト、異なる結果
- 9. 同じクエリフェッチ異なる結果
- 10. 異なるターミナルウィンドウ、同じ場所、異なる結果?
- 11. Firebaseは同じクエリに対して異なる結果を返します。 iOS
- 12. HashSet対LinkedHashSetと同じタスクの異なる結果
- 13. 異なる結果
- 14. 異なる結果
- 15. 異なる結果
- 16. 異なる結果
- 17. 同じバッチで異なるバッチサイズは異なる結果を生成する
- 18. AndroidとPythonで異なる結果をもたらす同じTensorflowモデル
- 19. 同じコードからのPythonの異なる結果
- 20. プログラム内で同じイメージに対して異なる結果が出る
- 21. 同じコミットに対して異なるAppveyorビルドが異なる結果をもたらすのはなぜですか?
- 22. 同じサービスで、異なるサーバーで異なる結果が発生する
- 23. SwiftとPython:同じコードが異なる結果になる
- 24. なぜ私は異なる列に対して同じ結果を得ているのですか?
- 25. 異なる結果は、オブジェクト
- 26. 同じコード+バイナリが異なるマシンで異なる結果を返す
- 27. 同じ最適化コードが異なるコンピュータで異なる結果を返す
- 28. コードは異なる値で同じ結果を返す
- 29. SHA1 hmac PHP対Javascript - 異なる結果?
- 30. バインディング対マルチバインディング=>異なる結果
はい、2つのレイヤーを接続する重みが変化しているため、ネットワークの精度が低下するため、ネットワークの精度が変わることは間違いありません。第1の反復においてランダム化される偏りおよび重みのために、初期化は1対1で異なってもよい。 – Arman
ああ、今私は理解している。したがって、ウェイトを0の行列に初期化すると、ネットワークのパフォーマンスのばらつきの量が減少します。 – gian