ニューラルネットワークはバイアス/分散ジレンマをどのように克服しましたか？

Question

詳細な学習はrebranding of Neural Networksと見なされています。

ペーパー"Neural Networks and the Bias/Variance Dilemma" by Stuart Gemanに記載されている問題は、今日使用されているアーキテクチャで解決されましたか？

Answer 1

は、我々は特に、NNについて多くのことを学んだ：

• は、我々は今、このような制限されたボルツマンマシン、オートエンコーダ、ノイズ除去オートエンコーダ、変オートエンコーダなどによる教師なし/自己回帰の学習の進捗に表現、よりよい学び、プロセスを安定させるのに役立ち、合理的な表現から学ぶ
• 厳密な確率的意味では必要ではないが、例えば画像処理では巧妙なアーキテクチャが畳み込みであることがわかっているので、 （パラメータの点で）、より適切問題モデルのために。その結果、私たちはあまりフィットしません。
• 私たちはより良い最適化技術と活性化機能を備えています。これはアンダーフィッティング（より大きなネットワークを学ぶことができます）、特により深いネットワークを学ぶことができます。なぜ深いところが広いのはなぜですか？これはもう一つ前のことであり、表現は階層的でなければならないという前提であり、現代の多くの問題（すべてではない）の前に有効であるように思われるからです。
• ドロップアウト、および他の手法は、（以前は知られていた単純な重みのプリオーサーよりも）より良い正則化方法としてもたらされ、オーバーフィット（分散）の問題を再び制限します。

多くの変更が加えられましたが、一般的には、より優れたアーキテクチャと優れた前提条件を簡単に見つけることができたため、より狭い仮説クラスを検索します。その結果、私たちは過少な（分散）、過小フィット（偏り）がありましたが、まだたくさんのことが行われています！

次のものは、@ダビデが指摘したように、データの量です。現在、巨大なデータセットがあり、妥当な時間内に処理できるデータにアクセスできることが多く、明らかにデータが多いほど変動が少ないことを意味します。

最後に、ハードウェアの最後のハードウェアです。これは、すべての深い学習エキスパートがあなたに伝えるものです。コンピュータがより強くなっています。同じアルゴリズム、同じアーキテクチャを使用しています（コアは同じですが、コアは同じです）が、我々のハードウェアは指数関数的に速くなり、が多く変更されます（）。

Answer 2

@lejlotは良い概要を示しました。私は全体のプロセスの2つの特定の部分を指したいと思います。

まず、ニューラルネットワークは普遍的な近似器です。つまり、原則としてバイアスを任意に小さくすることができます。むしろ重大であると考えられていた問題は、あまりにも大きな差異であった。

あまりにも大きな分散を扱うために、機械学習でよく成功する方法は、多くの異なる予測に対して「平均化」することです。できるだけ相関のないものでなければなりません。これは例えばランダムフォレストでも働きました。このようにして、現在のニューラルネットワーク（特にmaxout +ドロップアウトのもの）も理解する傾向があります。もちろん、これは狭い視点です - この全体的な表現学習、非説明的なプロパティなどがありますが、バイアス/分散のトレードオフについてのあなたの質問に適しています。

第2のポイント：非常に多くのデータを持つよりも、オーバーフィッティングを防ぐより良い方法はありません。現在、私たちは多くのデータを集める状況にあります。