PyTorchで個々のオプティマイザを使用するタイミングは？

Question

hereの例では、encoderとdecoderの2つのオプティマイザを個別に使用しています。どうして？そんなときはいつですか？

Answer 1

複数のネットワーク（nn.Moduleから継承した複数のオブジェクトという意味）を使用している場合は、簡単な理由でこれを行う必要があります。torch.nn.optim.Optimizerオブジェクトを構築するときに、最適化するパラメータを引数としてとります。あなたの場合：

encoder_optimizer = optim.Adam(encoder.parameters(), lr=learning_rate) 
decoder_optimizer = optim.Adam(decoder.parameters(), lr=learning_rate) 

これにより、学習率としてパラメータを自由に変更することができます。あなたがいることを必要としない場合は、nn.Moduleから継承した新しいクラスを作成することもできますし、両方のネットワークを含む、エンコーダとデコーダやhereが説明したようにオプティマイザに与えるパラメータのセットを作成します。

|がある

nets = [encoder, decoder] 
parameters = set() 
for net in nets: 
    parameters |= set(net.parameters()) 

このコンテキストでの集合の組合演算子。