最適なニューロンと精度と効率

私はディープニューラルネットワークに取り組んでいますと、次の質問に疑問を抱いた

のための神経層サイズ：ための最良の層数と一般的には層ごとのニューロンの数は何最適なニューロンと精度と効率

最適精度？この絵を1として

：機能のそれぞれ他のセット上の各機能の影響が考慮されるように

最適な数字は、フィーチャーサイズに等しいだろうか？我々は最適な精度と効率を探していた場合

はまた、答えは異なるでしょうか？

ありがとうございました。

編集：

これらの答えは有益です。私はまだ彼らが私の質問の最初の部分に特に言及していないように感じる。明確にするには：適用したときにデータに等しく細かくなるニューロンとレイヤの最大量があるため、より多くのニューロンやレイヤを追加することは冗長になりますか？私は無限の層を、ある時点で不要になる3つの特徴データセットと仮定する。すべての読んだり返信してくれてありがとう！

出典

2016-11-12 Zroach

質問に対する一般的な回答はありません。そのような量はハイパーパラメータと呼ばれ、その選択はオープンな問題であり、機械学習の技術の大きな部分です。 Hereは、Quoraのトピックに関する議論です。

ニューラルネットワークとその内部動作の紹介については、improving the way neural networks learnを参照してください。

なハイパーパラメータを選択すると、ネットワーク・アーキテクチャを構築する上での直感を得るためには、知られているの成功モデルを研究するのが賢明だろう。

LeNet：畳み込みネットワークの最初の成功したアプリケーションは、1990年代にヤン・ルカンによって開発されました。 ILSVRC 2014勝者

：コンピュータビジョンにおける畳み込みネットワーク

GoogleNetを普及最初の仕事：これらのうち、最もよく知られた郵便番号、数字を読み取るために使用されたLeNetアーキテクチャなど

AlexNetです

解決されている問題の詳細について、それらがどのように設計されているかを調べます。

出典

2016-11-12 13:03:56

ありがとう、ジーガ。また、私はこの情報が役立つことが判明しました：http://stackoverflow.com/questions/37088687/layers-and-neurons-of-a-neural-network?rq=1 – Zroach

あなたが助けてくれてうれしいです。バックプロパゲーションとトレーニングの簡単な実装を見たい場合は、私の答え[ここ]（http://stackoverflow.com/questions/38687180/neural-network-backpropagation-not-working/40550231#40550231） –

を参照してください。私は今のところ行きたいと思っているより少し深いですが、非常に有益です。また：http://stackoverflow.com/questions/3345079/estimating-the-number-of-neurons-and-number-of-layers-of-an-artificial-neural-ne?rq=1 – Zroach

Is there any method for choosing the number of layers and neurons?から：

それらの最適な数を見つけるための直接的な方法はありません：人は経験的に（例えば、クロスバリデーションを使用して）試してみてご覧ください。最も一般的な検索手法は、ランダム、手動、およびグリッドの検索です。

1）ガウスプロセスなどの高度な技術が存在します。例：

フランクDernoncourt、ジヨンリーOptimizing Neural Network Hyperparameters with Gaussian Processes for Dialog Act Classification、IEEE SLT 2016

2）Neuro-evolution。例：

Zaremba、Wojciech。 Ilya Sutskever。 Rafal Jozefowicz "An empirical exploration of recurrent network architectures."（2015）：最適なRNN構造を見つけるために進化的計算を使用しました。
Franck Dernoncourt。 "The medial Reticular Formation: a neural substrate for action selection? An evaluation via evolutionary computation."修士論文。 ÉcoleNormale スーパーロイヤルウルム。 ANNの接続を見つけるために進化的計算を使用しました。
バイエル、ジャスティン、ダワン・ウィールストラ、ジュリアン・トーゲリウス、およびユルゲン・シュミードバー。 "Evolving memory cell structures for sequence learning."人工ニューラルネットワークに関する国際会議、pp。755-764。 Springer Berlin Heidelberg、2009：最適なRNN構造を見つけるために進化的計算を使用。

出典

2016-11-12 20:44:57

あなたquestion.Butへの一般的な答えが最適解に到達するだろうことができ、これらのパラメータを変更することはありません。

入力データのフォーマット、
層の数及び大きさ、空間プーリングの
量
フィルター寸法、
学習ハイパーパラメータ（学習速度、運動量、バッチサイズ、ドロップアウト確率、適用される正則化の量）

出典

2016-11-13 05:56:11 GPrathap

最適なニューロンと精度と効率

答えて

関連する問題