TensorflowのDropconnect

Question

私はTensorFlowでいわゆる "DropConnect"を探しています。私はTensorflowニューラルネットワークでどのように "ドロップアウト"を使用するのか知っていますが、どの方法が "DropConnect"であるかを知ることができませんでした。
とにかく、私は "ドロップアウト"、 "減量"、 "早期停止"を試みましたが、私は依然としてオーバーフィットに悩まされています。 TensorFlowのオーバーフィットのためのより良いソリューションはありますか？

Answer 1

DropConnectは、ランダムに選択されたネットワーク内の重みのサブセットをゼロに設定します。 トレーニング中に各レイヤーのウェイトの割合をゼロとして考慮し、バックプロパゲーション中にすべてのウェイトを更新することで実装できます。

さらに、オーバーフィットを避けるために従来の技術を使用することもできます。

1. さらにデータを収集するか、さまざまなデータ変換方法で作成します。
2. フィーチャの数を減らしてください。
3. モデルの複雑さを軽減します。