テンソルフロー層にアクティブ化正則化を追加する方法

Question

スパースオートエンコーダーのような一部のモデルではアクティブ化の規則化が必要です しかし、レイヤーのアクティブ化を正規化するAPIは見つかりません。

カスタマイズされた正規化ツールを追加する方法はありますか？ またはレイヤーのアクティブ化がtf.trainablevariablesですか？私はtensorflowの承知している

は重量

Answer 1

にL2正則化を適用することができ、それは本当にあなたが正確に達成したいかに依存します：

• tf.contrib.layers.apply_regularizationあなたは正則とのテンソルのセットを組み合わせることができますそれを適用する必要があります。
• tf.contrib.layers.l2_regularizerでは、l2を適用するスコープを定義できます。
• しかし本質的に正則化はコスト関数に追加するだけのものなので、コスト関数に追加する関数（テンソル）はすべて正規化子とみなして考慮に入れることができます。