はロジスティック回帰の大きなマージンの分類器ですか？</p> <p>は、例えば者は、この画像を見てみましょう：私はSVMに大きなマージン効果を理解したよう

Question

我々はパラメータのセットを見つけようとして正則化項で

SVMの最適化の目的で

（パラメータベクトル）θのノルムは小さい。だから、小さなベクトルであるベータシータと、このベクトルの正例（p）の投影（内積のための小さなシータベクトルを補う）を見つけなければなりません。同時に大きなpは大きなマージンを与えます。この画像では、我々は理想的なシータ、およびそれとの大きなP（と大きなマージン）を見つける：

私の質問：

ロジスティック回帰は、大きなマージン分類器ではないのはなぜ？ LRでは、同様の方法で正則化項のシータベクトルを最小化します。 私は何かを理解していなかったかもしれません。

私はCoursera mlクラスの画像と理論を使用しました。

Answer 1

ロジスティック回帰は大きなマージン損失です。レクンは、エネルギーベースの学習に関する彼の論文の1つ以上でこれを述べています。

LRがマージンを誘導することを確認するには、ソフトマックス損失（LRと同等）を調べる方が簡単です。

ソフトマックス損失の2つの項があります。L(z)=z_{true} - log(\sum_i \exp(z_i))

その真の決定境界から例の距離が決定境界の全てからの距離のログ和を打つために必要であることを意味しています。

softmax関数は確率分布であるため、log softmaxの最大値は0であるため、logmaxは、softmax関数の下で真のクラスの確率として0に近づく負の値（つまりペナルティ）を返します1に近づく。