Keras：KerasドキュメントからLSTM脱落及びLSTM再発ドロップアウト

Question

差：

ドロップアウト：入力の 線形変換のためにドロップする単位の0と1の画分との間のフロート。

recurrent_dropout：0〜1の間で浮動します。再帰状態の線形変換の場合は、単位の数が0からに低下します。

各ドロップアウトの下にある画像のどこにポイントを表示できますか？

Answer 1

私はthis paper（の最初の部分）を見てみ示唆しています。通常のドロップアウトが入力および/または出力に適用されます。これは、矢印がx_tからh_tに変わったことを意味します。レイヤーに引数として追加すると、入力をマスクします。反復レイヤーの後にドロップアウトレイヤーを追加して、出力レイヤーをマスクすることもできます。反復ドロップアウトは、繰り返し単位間の接続をマスク（または「ドロップ」）します。それはあなたの写真の水平な矢印になります。

この写真は上記の論文から引用したものです。左には、入力と出力に規則的なドロップアウトがあります。右側に、定期的なドロップアウトPLUS再発ドロップアウト：

（この場合の矢印の色を無視し、紙にそれらは各タイムステップにおいて同じドロップアウトマスクを維持するさらなるポイントを作っている）