勾配降下のよりよい代替方法

Question

ニューラルネットワークの重みを更新するための勾配降下よりも高速で効率的な方法はありますか？勾配降下の代わりに乗法重み更新を使用できますか？より良いですか

Answer 1

LMAをご覧ください。私はMLPが最も効率的に訓練されていると聞いてきました。

別の有望なアルゴリズムはBFGSです。

両方のアルゴリズムは、関数を近似するためにNewton's methodに基づいています。そして、私の意見では、Backpropagationよりも理解しがたいです。