Proximal Policy Optimizationの状態に履歴が含まれていますか？

Question

たとえば、タイムステップtのステートは、実際にtとt-1のステートで作成できますか？

S_t = [s_t, s_t-1] 

すなわちん近位ポリシーの最適化は、すでに状態履歴を組み込むか、それは州の暗黙の（またはどちらも）することができます。

Answer 1

あなたの観測値を連結することができます。これは非常に一般的です。通常、アタリ領域では、最後の4つのフレームが1つの観測に結合されます。これにより、エージェントは環境の変化を理解することができます。

基本的なPPOアルゴリズムは、デフォルトで暗黙的に状態履歴を追跡しません。再現層を追加することでこれを可能にすることができます。