私はAndrew Ngによって紹介されたオートエンコーダについてthis articleを読んでいます。そこでは、彼はコネクションを落とすために正則化のようなスパリを使用しますが、スパース性の定式化はレギュールとは異なります。だから、モデルNNやロジスティック回帰のような正則化項を直接使用しない理由を知りたいのですが:(1/2 * m)* Theta^2?オートエンコーダで希薄語の代わりに正規化用語を使用しないのはなぜですか?
0
A
答えて
1
まず最初に、いくつかの命名規則から始めましょう。スパース性ペナルティとL2ペナルティの両方は、の正式名称とすることができます。したがって、問題は「なぜ単純なL2ノルム基準の代わりにスパース性に基づく正規化を使用するのか」でなければならない。基礎的な数学に深く関わっていないため、私たちのネットワークがよく一般化された表現を作成するための良い方法は何かを尋ねるので、この問題に対する簡単な答えはありません。あなたが提案するもの)、あるいはネットワークへの入力として何を入力したとしても、比較的シンプルな表現を生成します(まれに、ほとんど使用されないウェイト/ニューロンが必要です)。この抽象化のレベルでさえ、これら2つのレギュラーの間に質的差異を示すはずであり、完全に異種モデルを構築することにつながる。まばらな言葉はいつもより良いでしょうか?おそらく、MLのほとんどは「いつもより良い」ものではないでしょう。しかし、平均的には、オートエンコーダにとってはヒューリスティックではないように思えます。圧縮の種類が必要なので、実際には圧縮された表現を作成するよう強制します。正規化はノルムの表現を単純に「スカッシュ」する(小さいノルムの重みを用いたドット積は入力のノルムをあまり大きくしないので)。しかし、各ニューロンの「小さなビット」を使用することができ、 (多くのユニットを使用して)しかし、簡単に - 小さな起動で。
関連する問題
- 1. なぜ言語が正規でないのですか?
- 2. なぜ言語デザイナーはかっこの代わりに角かっこを使用しましたか?
- 3. 正規表現を使用しない文字列の単語数ですか?
- 4. なぜ言語制御文をプログラミングする代わりにCASE WHENを使用するのですか?
- 5. なぜarray_udiffは述語関数の代わりに比較関数を使用しますか?
- 6. 単語境界を使用する正規表現ですが、単語はaで終わります。 (ピリオド)
- 7. なぜAssembly.LoadFromの代わりにAssembly.LoadFileを使用しますか?
- 8. 入力正規化の代わりにバッチ正規化
- 9. 類似の単語ではなく、正確な単語で終わる行と一致する正規表現
- 10. プログラミング言語でマグニチュードコンパレータを使用できないのはなぜですか?
- 11. Java文字列の代わりに英語以外の言語を使用する(例としてペルシア語)
- 12. C#では、なぜStreamWriterの代わりにTextWriterを使用できますか?
- 13. this.objectNameの代わりにExt.getCmp( 'id')を使用しなければならないのはなぜですか?
- 14. RELEASEの代わりにNDEBUGを使用するのはなぜですか?
- 15. WireMockの代わりにMockWebServerを使用するのはなぜですか?
- 16. Symfonyプロキシの代わりにワニスを使用するのはなぜですか?
- 17. FragmentStatePagerAdapterの代わりにFragmentPagerAdapterを使用するのはなぜですか?
- 18. マルコフモデルの代わりにRNNを使用するのはなぜですか?
- 19. 文字列の代替を使用して正規表現が機能しないのはなぜですか?
- 20. HTML/JavaScript使用のために希薄なXulRunnerを構築しますか?
- 21. なぜVaadinでVerticalLayoutの代わりにFormLayoutを使用しますか?
- 22. なぜSQLBRITEで、代わりにSQLiteを使用するのですか?
- 23. R:Quanteda DFM、希薄ドキュメントフィーチャマトリックス、オブジェクトからの正規表現の削除?
- 24. ヘブライ語のウェブサイトのようなボタンは、言語の代わりにギベリッシュ語を作成します。
- 25. なぜ、spをdpの代わりにすべて使用するのではないのですか?
- 26. Springでテーブル名の代わりに同義語を使用するテーブルJPA
- 27. なぜAndroidのスタジオはカレンダーの代わりにCalendarContract.Calendarsを使用しますか?
- 28. なぜincqの代わりにlealを使用するのですか?
- 29. WCF/Silverlight:なぜクライアントの代わりにChannelFactoryを使用するのですか?
- 30. なぜJavaの代わりにClojureを使用するのですか