スケールフリーのニューラルネットワークを使用するのはいつですか？

Question

フィードフォワードニューラルネットワークの構造は、有向非周期的ネットワーク（DAG）である。 MLPのようなニューラルネットワーク構造は、実際には固定構造を有し、各層のノードは次の層の各ノードにリンクしている。

一般的なDAG構造が、ある意味で同等のMLPスタイルの構造（たとえば、同じ数の重みを持つMLP）より優れているのはいつですか？

この質問は、神経経路または細胞シグナル伝達経路がしばしば、積み重ねられた層のネットワークよりもスケールのないネットワークのようなフィードフォワードトポロジーを有する生物学からインスピレーションを受けています。私は確かにこれを実現する最初の人ではないので、私は疑問に思っています - この分野の研究と問題のタイプについてはどこで知ることができますか？

Answer 1

あなたが簡単に想像できる人工的な例は、あなたの入力が2つの独立した非常に複雑な部分（例えば2つの異なるソースからの連結入力）から成り立っていて、どちらの出力にも依存します。最初のいくつかのレイヤーでは、入力のさまざまな部分で実行される計算を担当するネットワークの部分の間に接続が必要ないことが想像できます。 。