このニューラルネットワークモデルは存在しますか？

Question

私は、特定の特性を持つニューラルネットワークモデルを探しています。このモデルは、私は、従来の人工ニューラルネットワークがそうであるように「層」を使用していないネットワークを必要とする...

存在しないかもしれません。代わりに、私は[私が信じるもの]より生物学的なモデルを望んでいます。

このモデルには、以下の画像のような相互接続されたニューロンの大きなクラスターが格納されます。いくつかのニューロン（図の一番下）は入力信号を受信し、カスケード効果は信号強度と接続重量に応じて連続ニューロンを発火させます。これは新しいものではありませんが、明示的なレイヤーはありません。遠く離れた間接的な接続がますます増えています。

ご覧のとおり、私はネットワークをセクション（サークル）に分割しています。各円は概念を取り巻く核となる意味論的ドメイン（言語学的概念）を表し、本質的にセマンティックドメインは概念です。

セクション内のノード間の接続の重みは、異なるセクションのノード間の接続よりも高くなります。したがって、 "car"のノードは、 "英語"を "car"に接続するノードよりも互いに接続されています。したがって、単一セクション内のニューロンが発火する（活性化される）場合、セクション全体（または大部分）も活性化される可能性が高い。すべてのすべてで

、私は上の出力パターンは、さらに出力のための入力として使用する必要がある、と。カスケード効果は私が後にしていることです。

これは意味があると思います。必要に応じて説明を求めてください。

私がすでに記述したものをモデル化するモデルが存在していますか？すべてのすべてで

Answer 1

、私は上の出力パターンは、さらに出力のための入力として使用する必要がある、と。カスケード効果は、私が後にしていることです。複数の隠れ層とフィードフォワードネットのように聞こえる

。ここで "レイヤー"という言葉を怖がってはいけません。複数のもので、あなたがそこに描いたようなものです。5-5-7-6-7-6-6-5-6-5のようなもの - 構造化されたネット（5つの入力、各ノードと5つの出力にノードの量が異なる8つの隠れ層）。

レイヤ間でノードを好きなように接続できます。単純な定数ゼロをそれらの間の重みとして使用するか、またはオブジェクト指向プログラミングが使用されている場合は、不要な接続を接続フェーズから外しておくだけで、一部を未接続のままにすることができます。標準のNNモデルではレイヤーをスキップするのが難しいかもしれませんが、ウェイトが交差する必要がある各レイヤーにダミーノードを使用する方法があります。元の出力* weight値をノードからダミーにコピーするだけで、レイヤーをスキップするのと同じになります。これにより、標準のNNモデルがそのまま維持されます。それ以外の値の1以上0.5未満、0：あなたは、いくつかの1と0の、シンプルなステップ関数は、各ノードにおける活性化関数として使用することができるだけの出力にネットをしたい場合は

。あなたが欲しい欲しい、これがあれば

は私はわからないんだけど、この方法は、あなたが説明したネットを構築することができるはずです。しかし、私はいくつかのセマンティックドメインを作り出すためにネットを教えることをどのように計画しているのか分かりません。なぜネットが自分の体重を学ばせないのでしょうか？これは、単純な入出力 - 実例と逆伝播 - アルゴリズムで実現できます。ネットを構築するために標準モデルを使用する場合、学習の数学も他のフィードフォワードネットと変わらないでしょう。最後になりましたが、おそらく、このタスクに適したライブラリが、マイナーチェンジでも、まったく変更されていなくても、コードで見つけることができます。

Answer 2

あなたのニューラルネットワークは、遺伝的アルゴリズムなどの進化的アルゴリズムを使用して作成されたニューラルネットワークに似ています。

詳細については、次の記事を参照してください。ニューラルネットワークのこのタイプでは概要について

• Han - Evolutionary neural networks for anomaly detection based on the behavior of a program
• WHITLEY - Genetic Algorithms and Neural Networks

。ニューロンとその関係は、進化的手法を用いて作られる。したがって、厳密なレイヤーアプローチはありません。ハンスは、以下の技術を使用：

"遺伝的操作：

交叉オペレータは、二つのニューラルネットワークとの間の部分的なセクションを交換することにより、新たな子孫を生成これは無作為に2つの別個のニューラルネットワークを選択し、のような1つの隠れたノードを選択します。

突然変異演算子は、接続リンクと無作為に対応する重みを変更します。選択されたニューラルネットワーク。新しい接続の追加または既存の接続の削除の2つの操作のいずれかを実行します。

突然変異演算子は、ニューラルネットワークの2つのノードをランダムに選択します。 それらの間に接続がない場合、ランダムな重みを持つ2つのノードを接続します。
それ以外の場合は、接続リンクと重量情報が削除されます。ウィットの記事からフィギュアに続き 「

。

@ARTICLE{Han2005Evolutionary, 
    author = {Sang-Jun Han and Sung-Bae Cho}, 
    title = {Evolutionary neural networks for anomaly detection based on the behavior 
of a program}, 
    journal = {Systems, Man, and Cybernetics, Part B: Cybernetics, IEEE Transactions 
on}, 
    year = {2005}, 
    volume = {36}, 
    pages = {559 -570}, 
    number = {3}, 
    month = {june }, 

}

@article{whitley1995genetic, 
    title={Genetic algorithms and neural networks}, 
    author={Whitley, D.}, 
    journal={Genetic algorithms in engineering and computer science}, 
    pages={203--216}, 
    year={1995}, 
    publisher={Citeseer} 
} 

Answer 3

遺伝的アルゴリズムに音罰金（ダレルウィットの作品を引用し、特に1）を含む解答。

もう一つの方法は、単純にノードをランダムに接続することです。これは、多かれ少なかれ、リカレントニューラルネットワークで行われます。

LeCunの非常に成功した畳み込みニューラルネットワークを見て、特定の目的のために設計された、ここで説明したような多くのレイヤーを持つANNの例を見てみることもできます。

Answer 4

ネットワークも模倣この http://nn.cs.utexas.edu/?fullmer:evolving

が、本当にネットワークを学習することはできませんが、交換すること。

再発NNここ

http://www.alanturing.net/turing_archive/pages/reference%20articles/connectionism/Turing%27s%20neural%20networks.html