NN活性化機能

Question

シグモイド活性化機能の代わりに、信頼できる代替物が必要です。シグモイド関数の問題は、フォーマットされた出力が0と1の間にあることです。私は0から255の間の出力を持つ活性化関数が必要です。私はバックプロパゲーションアルゴリズムでNNをトレーニングしています。私が他の関数を使用する場合、学習アルゴリズムを調整する必要がありますか？

Answer 1

問題の最も簡単な解決策は、データを拡大縮小することです。トレーニング中にトレーニングセットの出力を255で除算し、訓練されたモデルを使用している場合は、ニューラルネットワークの出力に255を掛けなければなりません。この方法で勾配計算を変更する必要はありません。

Answer 2

あなたは簡単にアクティベーション機能を変更する場合は、よ、255

に0のスケールに0〜1の規模からデータを移動すること255によって出力を乗じてそれを達成することができます間違いなく計算を変更する必要があります。バックプロパゲーションアルゴリズムはグラデーションディセントアプローチを使用しているため、それに応じてアクティベーション関数の派生を組み込む必要があります。