グラデーションを取得できない場合は、グラデーションの下降と同じように動作しますか？

Question

関数fは、一連のパラメータとして入力を持ち、精度として出力します。 fの勾配を得ることができません、有限差分などの勾配降下として機能する同様の方法はありますか？

Answer 1

これは正確さのために勾配を得ることができないというわけではありません。精度wrtには明確な勾配があります。パラメーター。問題は、が0にほぼ等しいということです。だから、どのような近似技法（サンプリング、有限差分など）も機能し、0の勾配を与えます。勾配のない最適化はたくさんありますが、その性質上、効率が劣り、流域フープ、シミュレーテッドアニーリング、遺伝的アルゴリズムなどの「メタオプティマイザ」と呼ばれることもあります。