トレーニング中にニューラルネットワークのゼロ値重みはゼロのままですか？

Question

私は鋸を持って、https://www.quora.com/If-one-initializes-a-set-of-weights-in-a-Neural-Network-to-zero-is-it-true-that-in-future-iterations-they-will-not-be-updated-by-gradient-descent-and-backpropagation と言っている、すべての反復でゼロの重みがゼロのままになるでしょう。

私はいくつかの重みをゼロに初期化しましたが、訓練後にはゼロにはなりません。

私はkerasとinitilizerを使用して重みをゼロにしています。オプティマイザはsgdまたはadamです。

誰かがそれを説明できますか？どうもありがとう！

Answer 1

いいえ、そうではありません。重量の実際の値は重要ではありません。重要なのは、重量関数の偏微分です。この導関数がゼロの場合、勾配降下アルゴリズムはこの重みを更新できません。これは、死んだニューロンにつながるReLUsの既知の問題です。そのため、Leaky ReLUsやELUsのような他の非線形性がしばしば好まれます。