ディレイヤリング4j埋め込みレイヤウェイト更新

埋め込みレイヤを使用してワードベクトルをエンコードする必要があるため、埋め込みレイヤの重みは基本的にワードベクトルです。明らかに、私はバックプロパゲーションの間にこの場合の重みを更新したくありません。私の質問は、設計によってレイヤーを埋め込むことですでにウェイトの更新が禁止されているか、それとも特別なことをしなければならないかということです。ディレイヤリング4j埋め込みレイヤウェイト更新

出典

2017-08-23 Sheng

私はものの、より良い方法、私は私が必要なものを満たすための一つの方法は.biasInit(0.0).learningRate(0.0)、すなわち、0に率だけでなく、バイアスを学習設定することだと思い、ここに古い問題で

https://github.com/deeplearning4j/deeplearning4j/issues/3118

を探し上記のリンクからも示唆されているように、フリーズしたレイヤーを使用してラップすることですか？

編集：私は、私は次のような解決策で終わるだろうと思い、

new FrozenLayer.Builder().layer(new EmbeddingLayer.Builder().nIn(nIn).nOut(nOut).activate(Activate.IDENTITY).biasInit(0.0).build()).build()

出典

2017-08-23 16:28:05 Sheng

ディレイヤリング4j埋め込みレイヤウェイト更新

答えて

関連する問題