SciPy fmin_bfgs精度損失を扱う

Question

現在、最小化の問題を数値的に解決しようとしており、SciPyで利用可能な最適化ライブラリを使用しようとしました。

My機能および誘導体はどちらか、動作しないうち最小化ここに提示することには少しあまりにも複雑であるが、それらは以下の機能に基づいています：

def func(x): 
    return np.log(1 + np.abs(x)) 
def grad(x): 
    return np.sign(x)/(1.0 + np.abs(x)) 

fmin_bfgs関数を呼び出すときに（と降下方法をx = 10に初期化すると、次のメッセージが表示されます。

Warning: Desired error not necessarily achieved due to precision loss. 
    Current function value: 2.397895 
    Iterations: 0 
    Function evaluations: 24 
    Gradient evaluations: 22 

出力は10（つまり初期点）です。

• 目的関数は凸ではない：私は他の非凸関数で確認し、この方法は私に正しい結果を与えたが、私はこのエラーは二つの問題によって引き起こされる可能性があるとします。

• 目的関数は、ログのために最小値から遠く離れていると「非常にフラット」です。

私の仮定は正しいですか？あるいは、問題は他の何かから来ていますか？ エラーが何であっても、これを修正するには何ができますか？特に、他に利用可能な最小化メソッドがありますか？

ありがとうございます。

Answer 1

abs(x)は、微分不可能であるため、常にやや危険です。ほとんどのソルバーは問題が円滑になることを期待しています。目的の関数からlogを落としてからを落とすことができるので、abs(x)を最小化したままにしておきます。多くの場合、これは次のようにしてよりよく行うことができます。もちろん

代わりmin abs(x)使用の

min t 
-t <= x <= t 

これは、（直線的）解決することができるソルバーを必要とNLPSを制約。