私はAndrew NGの機械学習チュートリアルを行って、線形回帰の勾配降下を見つけました。私がPythonを使って同じものを探すとき、私はyoutubeのチュートリアルを通してカムを見つけました：https://www.youtube.com/watch?v=KLGfMGsgP34&index=9&list=PLQVvvaa0QuDfKTOs3Keq_kaG2P55YRn5v線形回帰 - （グラディエント降下とベストフィットスロープ）
ここでは、最良の勾配が線形回帰に使用されています。どちらを使用するかをお勧めしますか？高次多項式に最適なフィットまたは類似のプロセスを使用できますか？それは多変量線形回帰に使用できますか？あなたは、通常の方程式として知られているを参照している
よろしく SouvikサハBhowmik
ベストフィットライン。その行列形式は次のとおりです。
ご覧のとおり、ベータを計算するには行列の乗算と行列の逆変換が必要です。行列Xが非常に大きい場合、これは計算上高価になる可能性があります。また、（X^t * X）が特異な場合は、行列の逆変換もできません。これは、Xに共線性がある場合に発生します。そのため、機械学習クラスではなく線形回帰で統計クラスを作成すると、モデルを適合させる前に、教師が共線形性を削除することを強調することがよくあります。
勾配降下は、非常に一般的に使用される最適化技術であり、計算上安価で実装が容易で効果的です。勾配降下は完璧ではありませんが、より複雑な問題領域では、極小にこだわるような問題が発生し、適切な学習率を選択する必要があります。しかし、そのような状況では、クローズドフォームソリューションが存在しないか、クローズドフォームソリューションが計算するには高価です。だから、これらの状況の多くの場合、勾配降下は素晴らしい候補になるでしょう。例えば、ディープ・ラーニングでも、最も一般的に使用される最適化手法の1つは、勾配降下（確率的勾配降下、Andrewのクラスの後半で、彼はミニバッチの確率的勾配降下について話した）の変形である。
簡単な要約では、勾配降下は、多くの状況に適用できる広く使用されている最適化手法であり、ツールボックスに知っておくとよいことです。このクローズドフォームソリューションはよく知っておいてほしいものですが、その限界があり、サイズや複雑な問題に拡張されません。
ありがとうございます。はい、私はまた、Andrew NGが通常の方程式に言及しているのを覚えています。しかし、ベストフィットスロープとは相関しませんでした。あなたの説明をありがとう。 –