覗き穴を使ったLSTMの実装

Question

私はLSTMに関する記事を読んで、その実装をチェックしています。私には明らかではない1つの点があります。
ほとんどの論文では、セルからゲートベクトルまでの重み行列は対角（例：Alex 5ページ、2012年5月）である必要がありますが、どの実装でもこれを見ていません。例えば
この：
1 2 別の例は、ミララボからです。 3

これらの人々は間違って実装していますか、何か不足していますか？

Answer 1

TensorFlowの実装では、対角行列を使用しています（here参照）。これが実際に何を意味するのかということは、覗き穴はセルからセルへと移動するだけなので、要素ごとにベクトルを乗算することです。