MLPClassifierパラメータ設定

Question

Backpropationアルゴリズムを使用したプロジェクトを開発しています。だから私はscikit-learnでBackpropagationアルゴリズムを学んでいます。

mlp = MLPClassifier(hidden_layer_sizes=(hiddenLayerSize,), solver='lbfgs', learning_rate='constant',learning_rate_init=0.001, max_iter=100000, random_state=1) 

さまざまなソルバーオプションがlbfgs、adam、sgd、およびアクティベーションオプションとして用意されています。バックプロパゲーションにどのオプションを使用すべきかに関するベストプラクティスはありますか？

Answer 1

ここで最適化アルゴリズムを設定するための引数はsolverです。一般的な設定では、sqd (stochastic gradient descent)が最もよく機能し、より速い収束も実現します。 learning_rateの設定とは別にsgdを使用している間は、momentum引数も設定する必要があります（デフォルト値= 0.9が動作します）。

モデルの非線形性を導入するために、モデルに多くのレイヤーがある場合は、relu (rectified linear unit)などのアクティベーション関数を使用して非線形性を導入する必要があります。 reluは最も簡単で最も有効な起動機能です。