Theano LSTM - 初期隠れ状態

Question

が、私はコードの一部で、この行を理解するトラブルを抱えているものです私が見つけた：

def has_hidden(layer): 
    """ 
    Whether a layer has a trainable 
    initial hidden state. 
    """ 
    return hasattr(layer, 'initial_hidden_state') 

を私の質問は、初期の隠れ状態ということは何かありますか？その用途は何ですか？ 層の状態は何ですか？私は隠れたレイヤ、RNN、論文やビデオからのLSTMに精通していますが、私はこのことについて何も見つけることができません。手伝ってくれてありがとう。

Answer 1

ニューロンの層の状態は、その時点でそれを記述する（その接続の）すべての重みの集合です。

良いトレーニングパフォーマンスを得るには、ニューロンのレイヤーのすべてのウェイトに対して0で始める必要はありません。この問題に対する最も一般的な解決策は、すべての重みを小さいがゼロ以外の数に初期化することです。これは、ニューラルネットワークの初期状態を記述する。