テンソルフローにおけるLSTM繰り返し重みのドロップアウト

Question

TensorflowのDropoutWrapperでは、セルの入力、出力、または状態のいずれかにドロップアウトを適用できます。しかし、私は細胞の反復的な重みについて同じことをする選択肢を見ていない（元のLSTM処方で使用された8つの異なる行列のうちの4つ）。私はちょうどこれが事実であるかどうかを確認したいと思っていました。

Answer 1

元LSTMモデルのみ（唯一の非再発層に。）入力と出力層の上にドロップアウトが適用されるため、本論文では、ドロップアウトでLSTMを説明し、「教科書」として考慮されることがあります：https://arxiv.org/pdf/1409.2329.pdf

最近いくつかの人々は反復層にもドロップアウトを適用しようとしました。実装とその背後にある数学を見たい場合は、Yarin Galの "リカレントニューラルネットワークにおけるドロップアウトの理論的根拠のあるアプリケーション"を検索してください。私はTensorflowまたはKerasがすでにこのアプローチを実装しているかどうかはわかりません。