すべてのディープqネットにターミナル状態が必要ですか？

Question

すべてのdeep-qネットワークにはatariゲームのような端末状態が必要ですか？ネットワークに終わりが見えるようにするには？それともそれを処罰するのに使われていますか？

おかげ

Answer 1

の端子状態が必要ですが、それは有用であり、ちょうど罰のために使用されていないされていません。

例としてPongを取るには、プレイヤーが得点するか、または認めたときにターミナル状態がトリガーされます。それは刑罰中立です。ここでの端末状態のポイントは、ゲーム状態を獲得した後、ボールとパドルが開始位置に戻されるためである。これは、前の状態（端末1）と次の状態との間に接続がないことを意味する。いずれの端末もない状態の報酬を計算するとき、その状態の報酬とQ関数の将来の報酬を使用する。端末状態では未来の報酬はないので、現在の状態から報酬を使うことができます。

これは、学習時のノイズを大幅に削減できるという利点があります。私が言ったように、ターミナル状態は必要ありませんが、あなたが持っていない場合は、このレベルでほとんどの報酬が最終的には時間の経過とともに混ざり合うので、標準0.99よりかなり低い将来の報酬割引を調整したいかもしれません。

これが役に立ちます。