回帰タスクを実行しているときに、どのようなアクティブ化機能をニューラルネットワークでお勧めしますか？

Question

いくつかのプロジェクトデータに基づいてプロジェクト予算を見積もりたいと思います。同じデータ構造内に履歴データもあります。私はニューラルネットワークでそれをやりたいと思いますが、どのタイプの活性化関数を使うべきかはわかりません。私は、与えられた入力に対してどのくらいの予算を期待するべきかを教えてくれる1つの出力ニューロンを持っています。

Answer 1

私の経験では、あなたの出力が確率分布に従わなければならないときは、S字状の活性化関数から遠ざけたいと思うでしょう。このような場合、回帰を扱う際には、通常、何らかのリニアユニットを使用します。

eripがReLUを試すことができると示唆しました。より一般的には、PReLUおよびELUを含むいくつかの線形ユニットが選択される（より詳細にはhereで考察される）。私が与えることができる最高のアドバイスは、数回の訓練、異なる線形ユニットの試し、それらのパラメータの変更、そしてあなたのモデルに最適なものを見てください。