ディープラーニングと伝統的な人工ニューラルネットワークの学習の違いは何ですか？

Question

Deep Learningとニューラルネットワークを利用する伝統的な機械学習の違いを簡潔に説明できますか？ニューラルネットワークを「深い」ものにするには、どのくらいのレベルが必要ですか？これはまさにマーケティングの誇大宣伝ですか？

Answer 1

@Frank Pufferの答えとは違うことを頼みます。私は隠れた層などで教師なしの学習手順を実行することによって彼が意味するものを理解していません。

ディープラーニングは、一般に2つ以上の隠れ層を持つニューラルネットワークモデルを指します。ほとんどのDLモデルは10〜100以上のレイヤーを持ちます。 - インターネット時代
2の積である
1.大量のデータの可用性：

深い学習モデルの最近の革命は二つのことに依存しています。GPUの利用可能性

DLモデルの最適化に使用されるアルゴリズムは、バックプロパゲーションアルゴリズムと呼ばれます（これは数学的には勾配のあるものと同等です）。 Backpropは実際には少なくとも80年代以降存在しています - それはDL特有のものではありません。

DLモデルは一般に、モデルの複雑さとサイズのために大量のデータを必要とします。彼らは通常、何百万もの調整可能な重量パラメータを持っています。最適化には、訓練データのサイズと各反復で計算する必要のある数百万の偏微分（重みに関する）のために高い計算能力が必要です。

本質的に、ディープラーニングはマーケティングの誇大宣伝ではありません。多くのデータと強力なGPUを必要とする大規模な多層ニューラルネットワークモデルです。そして、それが訓練されると、特定の作業で超人間の精度を達成します。

Answer 2

近年、さまざまな機械学習の問題を解決するために開発されたモデルは、非常に多くのレイヤを使用してはるかに複雑になっています。たとえば、GoogleのInception-v3モデルは42層あります伝統的なニューラルネットワークは、通常、隠れたレイヤーをほんの一握りしか使用しません。 「ディープ・ラーニング」と「ディープ・コンボリューション・ニューラル・ネット」という文脈で使用される「ディープ」という用語は、関係する層の実質的な数にはうなずいています。

Answer 3

レイヤの数が多くなると、標準的なバックプロパゲーションアルゴリズム（勾配降下）が深刻な問題になります。誤差関数における極小値の確率は、各層ごとに増加する。数学的な意味での極小値だけでなく、誤差関数にフラットな領域が存在することもあります（1つ以上の重みを変更しても誤差は大きく変化しません）。

一方、多くのレイヤを持つネットワークでは、すべてのセルレイヤが抽象レイヤを提供できるため、より困難な問題を解決できます。

ディープラーニングはこの問題に完全に対応しています。基本的な考え方は、ネットワーク全体の勾配降下を使用することに加えて、すべての単一のレイヤーについて監督されていない学習手順を実行することです。監督されていない学習の目的は、各単一のレイヤーが後のレイヤーで使用できる入力から特性フィーチャーを抽出するようにすることです。

「ディープラーニング」という用語は、現在のところ広範に使用されていますが、単なるマーケティングの誇大広告ではありません。

編集：数年前、自分自身も含めて、教師なしの事前トレーニングが深い学習の主な可能性を信じていました。それ以来、多くの場合、より良い結果を生み出す他の技術が普及しました。 （彼自身の答え以下）@Safak Okzanでのコメントで述べたように、これらが含まれます：

• 残留ネットワーク

• バッチ正規線形単位を整流

• を