どのようにregerssionのレートを取得するには？

Question

私はマシンの浅い学習を学び始めます。私はPRMLの本を読むときに問題を抱えています。それはLMSアルゴリズムについて話し、それを使って回帰の問題を解決します。 wi + 1 = wi + alpha * gradient 「アルファ」の決定方法がわかりません。 それで、それを解決する方法は？

Answer 1

alphaは、（勾配降下の）学習率またはステップサイズです。

0.1, 0.01, 0.001, ... 

、もう1つはトレーニング時間と予測精度に関して良い作品かを確認：あなたは同様に、オプションのリストを始めることができるように、それは、私たちがチューニングする重要なパラメータです。 learning_rateが高すぎると、コストが減少していない（または増加している）ことがあります。一方、それが低すぎると、学習が良い状態に収束するのに時間がかかりすぎることに気付くかもしれません。

テンソルフロー（または他のライブラリ/ツール）を使用する場合、アルゴリズムを実装するには、オプティマイザを選択する必要があります（例：GradientDescentOptimizer）。最初の引数はlearning_rateです。

learning_rate: A Tensor or a floating point value. The learning rate to use.