markov

1熱

1答えて

私は、kの異なる値に対するマルコフ連鎖の最終状態の前に最初の状態になる確率をプロットするRでグラフを作成しようとしています。私は1本 17のための全てのkに対するkの最終値を取得していない場合にプロットが問題である場合には：Pの = 0.5、Q = 0.1、確率を推定するためのコードを生成します最終状態の前に状態1を打ち、k = 1、...、15である。 kに対する推定値のプロットを作成する。ここ

0熱

1答えて

カーレースのマルコフプロセスの状態空間グラフを表現する例

誰でもマルコフのための状態空間グラフを設計するのに助けてくれますか？バークレーCS188からのカーレースの例の決定プロセス。例えばカーレース例私は100回のアクションを行うことができますし、私は私の報酬を最大化するための最善の政策を取得するために、値の反復を実行したいです。私は3つの状態（クール、暖かい、過熱）しかないとき、私は「終了」状態を追加してMDPを完了する方法を知らない。私は10

-1熱

1答えて

MDP：一連のアクションに対する考えられる各結果の可能性を計算するにはどうすればよいですか？

は、私は、環境、次の（3×4マップ）とMDP問題を持っている：可能なアクションと上/下/左/右、右方向への移動の0.8チャンス、隣接する方向ごとに0.1（例えば、の場合）：0.1チャンスの場合、0.1チャンス右）。 [上へ、上、右、右、右] ：今、私は何をする必要があるかは、可能な結果のアクションの次のシーケンスを実行している（1,1）で始まるを計算していますまた、このアクションシーケンスを使

0熱

1答えて

ポリシー反復を使用してJavaの一般的な環境エージェントを解決するにはどうすればよいですか？

私はポリシー反復法を使ってガードワールドを解決する方法を知っています。どのようにして一般的な環境を解決することができますか？私のデータは、このようなものです：これは私のデータの一部であり、それは遷移モデルを説明し、私はグリッドの世界を作成したくない、送信元と宛先のタイプがStringで言及してください。私の状態を定義する方法と、それらを取得する方法がわかりません。ベクターを使ってそれらを保存す

1熱

1答えて

単純な歩幅予測子の実装方法は？

私はコンテキストMarkov predictorを実装しており、stride predictorを作成して、それらを確実にhybrid predictorに結合する必要があります。最初に私はこれを実装する必要がありますstride predictor。私はそれについて読んで、私はこれを見つけたfigureしかし、私はそれを簡単にしたい。古典式はVn=V(n-1)+(V(n-1)-V(n-2))

1熱

1答えて

マルコフ過程のKolmogorov-Chapman方程式を生成する

マルコフ連鎖問題を解くためにMathCadのKolmogorov-Chapman方程式を生成する方法を探しています。問題は、システムがいずれかの状態にある確率を見つけることです。システムにはN個のコンポーネントがあります。私は2^N個のノード（状態）と2 * Nパラメータ：N aのグラフを持っています。これはN番目のコンポーネントが故障する可能性があり、N b ''が壊れたコンポーネントが正常

0熱

2答えて

マルコフ・チェーンを構築する

リコメンダ・システムを構築するためのマルコフ・チェーン・モデルを構築するための遷移行列を取得したいと考えています。私のデータは形になっています Date StudentID Subjectid 201601 123 1 201601 234 4 201601 122 2 201602 123 3 201602 123

0熱

1答えて

Markov Sentence Generator;サンプルテキストの入力方法

Githubにpython用のmarkov文章ジェネレータが見つかりましたが、Suess博士にそれを入力したいのですが、どのようにするのか分かりません。 githubの上で（https://github.com/hrs/markov-sentence-generator）それはであると言い、すべての「$ ./sentence-generator.pyファイル名[チェーンの長さ]」私は、コマン

2熱

1答えて

関数型プログラミングとマルコフ連鎖は何とか関係していますか？

デビッド・シルバーとしてマルコフ連鎖のプロパティについて説明しています。将来は（ビデオに4分）現在 https://www.youtube.com/watch?v=lfHX2hHRMVQ与えられた過去とは無関係ですこれは、との弦を打ちました私は現在、関数型プログラミング（FP）について学んでいるからです。 FPでは、何らかのアクションを実行して新しい状態を出力するために、関数が現在の状態のみを必

0熱

1答えて

Markov Switching MSwMパッケージのAICとBIC

私はMSwMパッケージのいくつかの機能を理解しようとしていますので、私が書いている論文でそれを使うことができます。著者が提供している例を再現しながら、私が得られない2つのことがあります。最初のものは、パッケージで使用されているサマリーメソッドに関連しています。summary(mod.mswm)を呼び出すと、[email protected]@logLikelと負の数を呼び出すとlogLikelが