要素単位のレイヤーを追加した後で、事前訓練モデルを使用できますか？

Question

私はElementwiseレイヤーに2レイヤーの出力を追加したい訓練されたモデルを使用しています：1レイヤーは畳み込みレイヤー1x1x256x256の出力で、もう1つは畳み込みレイヤー1x32x256x256の出力です。私の質問は、2つのレイヤーを掛け合わせて次のレイヤーに送るレイヤーレイヤーを追加すると、アーキテクチャーが変更されたか、またはまだpretrainedモデルを使用することができるため、最初から訓練するべきですか？

ありがとう

Answer 1

確かにアーキテクチャの変更を加えると、学習された機能がオッズになる。

ただし、変更の影響を受けていないレイヤーに対して学習されたウェイトを使用しない理由はありません。これらのレイヤーは変更の影響を受けないため、初期化の恩恵を受けることができます。

残りのレイヤーについては、訓練されたウェイトのinitはランダムよりも悪いはずがないと思います。どうしてですか？

ランダムウェイトを持つ新しいレイヤーを初期化することを忘れないでください（caffeのデフォルトは0です - これは学習に問題を引き起こす可能性があります）。