線形回帰分類器における収束と正則化

2点集合（クラスy（-1,1））から引き出されたデータに対してロジスティック回帰を用いて2値分類器を実装しようとしています。以下に示すように、オーバーフィットを防ぐためにパラメータaを使用できます。線形回帰分類器における収束と正則化

$target_function$

今私はのための「良い」値を選択する方法が、わかりません。私がよく分からないことは、この種の問題に対して「良い」収束基準を選択する方法です。「良い」ものを選ぶ

2017-01-04 vonludi

クロスバリデーションでこれ以上の質問はありませんか？ –

@ Natecatの線形回帰は技術的には機械学習ですが、最も基本的なレベルでは –

となります。収束と正則化パラメータを決定するための厳しい規則はありません。データセットを列車、検証、テストの3つの部分に分割できます。さまざまな値のaと異なる反復回数でトレーニングデータを訓練することができます。次に、バリデーションセットを予測して、クラシファイアが新しいデータに対してどの程度効果があるかを確認できます。これは、あなたが過不足かどうかについてのヒントを与えます。検証セットで良い結果を得たら、テストセットを予測して、分類子がどれほど優れているかの「真の」測定基準を取得します。 – user2570465

「」

の値は、メタ回帰の一種である：合理的なようだのための任意の値を選びます。回帰を実行します。の値を3倍大きく、小さくしてください。どちらか一方が元の値よりも優れている場合は、その方向に3をもう一度試してください。ただし、読みやすさのために9xから10xに丸めてください。

あなたは適切な範囲に入るまでそれを試してみてください。あなたが本当には、結果を最適化しようとしている場合を除き、あなたはおそらくダウン

MLの人々が多くを費やしている3.

データセットパーティションの要因よりもはるかに近いそれを狭くする必要はありません最高の分割を分析する単語の最適な分割は、データスペースに大きく依存します。グローバルヒューリスティックとして、トレーニングのために半分またはそれ以上を使用します。残りの半分はテストのために使用され、残りは検証のために使用されるべきではありません。たとえば、列車の場合、50:20:30が実行可能な近似です。test：validate。

もう一度やり直してください... 真実エラー率のテストはまったく新しいデータになります。

コンバージェンス

これが最善の解決策に近いだけでなく、低勾配の局所的な領域の近くに、あなたの経験的なエラー空間の特性に大きく依存しています。

第1の考慮事項は、凸であり易い領域を持たない誤差関数を選択することです。 2つ目は、目的の領域の勾配の大きさに対する感覚を得ることです（データの正規化はこれを助けます）。これを使用して収束半径を選択します。ここではその3倍のスケーリングでプレイしたいかもしれません。最後のものは、学習率で再生することで、正規化されたデータにスケールされます。

これが役立ちますか？

出典

2017-01-05 00:53:36 Prune

ありがとうございます。私はまだ試してみるべき大きさを確信していません...それは1から1000までありますか？ 10^-3〜1？ 10^-6〜10^-3はもっと現実的ですか？広範囲に試すには余りにも多くのオプションがあるようです。 – vonludi

再度、あなたのデータによって異なります。私は一般的に、平均データ値の10^3の範囲から始めれば十分にうまくいくことを見出しました。また、フレームワークでサポートされている場合は、学習率減衰を使用します.1000回の繰り返しごとに** ** **を4％ずつ減らします。あなたが収束するにつれて、最初はより大きな学習率を持つのに役立ちます。 – Prune

線形回帰分類器における収束と正則化

答えて

関連する問題