ガウスプロセス：最大対数尤度は無限の結果を与えます

Question

私はこれでうまくいかないことを理解していないと感じません。

ガウスプロセスにいくつかのデータを合わせたいと思っています。私は私のデータの上にフィットする3つのハイパーを持って

k(x,x0) =σ0²*exp(-(x-x0)²/(2*λ²)) 

：私共分散関数は、基本的な乗指数関数である2つの共分散関数からパラメータ（σおよびλ）、および仮定から来てσ0私のデータは騒がしいです。 したがって、負の対数尤度を最小限に抑えるだけでいいですよね？ Kは私のXベクトル上Kを適用して得られた共分散行列でありθ=(σ,λ,σ0)とC(θ)=K-σ0²*I

で

logp(y|X,θ) =1/2*t(y)*C(θ)^(−1)*y+1/2log|C(θ)|+(n/2)*log 2π 

。

唯一の境界条件は、パラメータが正である必要があることです。

しかし、どの最適化アルゴリズムを使用していても、-Infにまっすぐ進むので失敗します。

私のσ0と私のσは、K = 0であるため、0に直進します。 C = 0なのでdet（C）= 0となり、私の負の尤度は-Infになります。

もちろん、データに最もよく合う分散を0にすることはできません。しかし、私はここで間違っていることについて何の手がかりもしていません。私はそれがσ= 0以外の何かを与えることができる最適化方法を理解できません...

どこが間違っていますか？

Answer 1

カーネル密度やカーネル密度サーフェスのようなものをフィッティングする場合は、コードに「間違っている」ことはまったくない可能性があります。

帯域幅がゼロに近づくにつれて、適合した表面の対数尤度は増加し、事実上の特異点に近づくにつれて、事象に特異点が近づき、どこでもゼロになります。尤度の観点から見ると、これは「完璧な」適合を構成しますが、計算上悲惨で、推論的に役に立たないものです。

しかし、プラス面では金曜日です。