MDP - 遷移確率を生成する手法

Question

私はMDPカーの需給問題を次のように扱っており、手動ではなく自動的に遷移確率行列を生成する手法があるかどうかを考えていました。

需要を想定は以下の通りです：
時間、STATION1、station2
1000年、3、1
1030、3、1
1100、2、3

がSTATION1から車を想定し、駅1で車が降りる確率は60％、駅2で降りる可能性は40％です。 駅2の車の場合、駅1で車が降りる可能性が80％あり、駅2で落ちる可能性は20％です。

私は以下のことを手動で計算しました。時間ステップ1において

、

P(car at station1 = 2,car at station2 = 8) = 0.0432 
P(car at station1 = 3,car at station2 = 7) = 0.2016 
P(car at station1 = 4,car at station2 = 6) = 0.1344 
P(car at station1 = 5,car at station2 = 5) = 0.0896 
P(car at station1 = 6,car at station2 = 4) = 0.0512 

したがって、誰もが自動的に時間ステップ2において確率を計算するための洞察を提供することができるではなく、手で計算するかどうかをチェックするようになります。

あなたのアドバイスのためにpls。

Answer 1

ご質問がわかりません。

定常マルコフ過程であれば、x_t可変状態の分布（ここでは、車でのステーション）所与の時間tでは、一度t-1における遷移行列Pと状態の関数です。

tには x_t = x_{t-1} * Pと書くことができます。つまり、x_t = x_0 * P^tです。

x_0を知る（開始時の車の分布、車が均等に二つのステーションx_0 = [0.5 0.5]の間に分布している、例えば場合）とP = [ 0.6 0.4 ; 0.8 0.2 ]を使用して、あなたは、いつでもx_t = x_0 * P^tとしてt > 0で車の分布を得ます。