ロジスティック回帰におけるコスト関数の局所的および全体的な最小値

Question

ロジスティック回帰式の導出における最小値の背後にある考え方を誤解しています。

考えられるのは、仮説を可能な限り増加させる（つまり予測係数をできるだけ正確に1に近づける）ことで、コスト関数$ J（\θ）$を可能な限り最小限にすることです。

今私は、このすべてが機能するためには、コスト関数が凸でなければならないと言われました。凸性についての私の理解には、最大値が存在しないことが必要であり、したがって、最小値は1つしかありません。これは事実ですか？そうでない場合は、理由を説明してください。また、そうでない場合、コスト関数に複数の最小値がある可能性を意味し、より高い確率と高い確率をもたらす複数のパラメータセットを暗示します。これは可能ですか？または、返されたパラメータがグローバルな最小値、したがって最も高い確率/予測を参照していることを確認できますか？

Answer 1

凸コスト関数を使用しても、凸問題は保証されません。

凸のコスト関数と凸の方法は区別されます。

あなたが遭遇する典型的なコスト関数（クロスエントロピー、絶対損失、最小二乗）は凸であるように設計されています。

ただし、問題の凸性は、使用するMLアルゴリズムのタイプによっても異なります。

線形アルゴリズム（線形回帰、ロジスティック回帰など）は、収束する凸面の解を与えます。しかし、隠れたレイヤーを持つニューラルネットを使用すると、もはや凸面の解決策が保証されなくなります。

したがって、convexityはコスト関数だけでなく、あなたのメソッドを記述するための尺度です！

LRは線形分類法ですので、使用するたびに凸最適化問題を起こす必要があります。ただし、データが線形に分離できない場合は、解を得られない可能性があり、その場合には良い解を与えることは間違いありません。