残留学習

Question

私は、研究論文からこの画像を複製しようとしています。画像では、オレンジの矢印は残差学習を使用したショートカットを示し、赤で囲まれたレイヤーは拡張された畳み込みを示します。

以下のコードでは、r5はイメージに見られるreluの結果です。簡単にするために、relu層とdilation層の間のコードを除外しました。 テンソルフローでは、残差ショートカットを実行するためにreluとdilated convolutionの結果を正しく組み合わせるにはどうすればよいでしょうか？

#relu layer 
r5 = tf.nn.relu(layer5) 
... 
#dilation layer 
h_conv4 = conv3d_dilation(concat1, 1154) 

Answer 1

画像は非常に単純です - それはあなたがので、にそれらを追加する必要がありますと言う：あなたは瞬間があった場合

#relu layer 
r5 = tf.nn.relu(layer5) 
... 
#dilation layer 
h_conv4 = conv3d_dilation(concat1, 1154) 

#combined 
combined = r5 + h_conv4