CLDNNの次元削減（テンソルフロー）

Question

this schemeのようなテンソルフローでCLDNNの実装を記述しようとしています。次元削減レイヤに問題があります。

私が理解する限り、それはいくつかの積み重ねられた制限付きボルツマンマシン（RBMs）で作られ、オートエンコーダーのように機能します。層のデコーダ部分は、井戸寸法を減少させるためにエンコーダを訓練するためのものである。エンコーダの出力を次のレイヤーの入力に「差し込み」たいという意味です。

自動エンコーダーをトレーニングする損失関数（デコードされた出力からの入力を比較する）と、グラフ全体を訓練する他の損失関数を定義できます。私はこれらの2つの損失関数を訓練する方法がありますか？ ここで問題を誤解しているかもしれませんが、オートエンコーダのデコーダ部分がちょっと残って "ループの外"になってしまい、訓練されなくなってしまっているように感じています。

私は、このようなオートエンコーダの実装、およびconvolutionnal層などを発見した...しかし、私は本当に（スキームのように）

Answer 1

をネットワーク内のオートエンコーダを「挿入」する方法を理解していない紙は

を語ります

CNTK（Computational Network Toolkit）[24]は、ニューラルネットワークトレーニングに使用されます。 [14]が示唆しているように、我々は生成的または差別的な事前訓練を行わずにすべてのレイヤーに対して均一なランダムウェイト初期化を適用する[1]。

図の寸法の縮小は、単なる密集投影層です。だから彼らはオートエンコーダーを訓練せず、ただネットワークアーキテクチャを構成し、ランダムな初期状態からネットワークを訓練するだけです。

オートネゴシエーターはサブネットワーク初期化のために以前から使用されていましたが、あまり人気がありません。