テンソルボードのゼロ値の分数はどのように解釈されるべきですか？

Question

私はクラウドMLエンジンジョブを実行しています。私のテンソルボードプロットは、ステップ数が増えるにつれて隠れ層のゼロ値の割合が1に向かって着実に増加していることを示しています。このプロットはどのように解釈されるべきですか？ゼロ値がゼロになると、モデルが予測していることについてモデルがより確かなものになっていることが示唆されます。

Answer 1

それは一般的に、あなたの正則化技術および/または活性化関数がゼロにアクティベーションを強制されることを意味します。あなたはモデルの詳細を共有していませんが、ドロップアウトを使用する場合、特にrelu活性化関数を使用する場合は一般的です。

ゼロアクティベーションの多いモデルでは、より一般化されやすくなり、精度が向上する傾向があります。

詳細については、JMLR paper on dropoutをご覧ください。

少なくともReLUアクティベーション機能では、アクティベーションがゼロになることが悪いことがあることに注意してください。基本的に、彼らは不可逆的に「死ぬ」ことができます。だからあなたが貧しいモデルの品質を見ている場合は注意してください。詳細情報here。