いくつかの埋込みを訓練し、他のものを固定します。

Question

RNNと埋め込みを使用して、Kerasでシーケンス分類を行います。私のシーケンスは少し奇妙です。私は言葉を特別な記号と混ぜている。言葉は固定された、事前に訓練された埋め込みに関連していますが、特別なシンボルの埋め込みは訓練中に変更する必要があります。

学習中の埋め込みレイヤーで、他のものを更新するときに埋め込みを固定しておくにはどうすればよいですか？変更すべきでないインデックスをマスクする方法はありますか？またはカスタム埋め込みレイヤの場合ですか？

Answer 1

これは既存のEmbeddingレイヤでは達成できないと私は考えています。それを回避するには、内部で2つの埋め込みレイヤを作成し、そのうちの1つの埋め込みマトリックスのみをtrainable_parametersに配置するカスタムレイヤーを作成します。