ニューラルネットワークのオンライントレーニング

Question

は私が機能のy = f（x）が=斧^ 2に近づけるために、単純なフィードフォワードニューラルネットワークを実装することは、いくつかの定数とですxは入力値です。

NNは一方の入力ノード、1-N個のノード、及びつの出力ノード有する1つの隠れ層を有します。たとえば、2.0という値を入力します。> NNが4.0を生成し、もう一度3.0を入力します。> NNが9.0を生成するか、それに近づくなど。

私が「オンライントレーニング」を理解している場合、トレーニングデータは1つずつ送られます。つまり、値2.0を入力します。> 100回勾配で繰り返して、3.0の値を渡します。もう100回。

しかし、実験/学習のNNでこれをやろうとすると、値2.0を入力します - >エラーは非常に小さくなります - >出力は4.0に非常に近いです。

入力3.0 - > NNが9.0の代わりに4.36または何かを生成すると予測したい場合。したがって、NNは最後のトレーニング値を学習します。

範囲[-d、d]の目的関数を近似するニューラルネットワークを得るにはどうすればよいですか？私は何が欠けていますか？

私はオンライントレーニングが好きな理由は、結局私は時系列を入力し、そのシリーズを目的の機能にマッピングしたいからです。これはポイントの外ですが、誰かが不思議に思っていた場合に備えてです。

何かアドバイスをいただければ幸いです。

詳細 - 私は、シグモイド関数と線形の出力層で隠れ層をアクティブにしています。

Answer 1

オンライントレーニングが好きな理由は、結局私は時系列を入力し、そのシリーズを目的の機能にマッピングしたいからです。

Recurrent Neural Networks（RNNs）は時系列をモデル化するための最先端技術である。これは、彼らが任意の長さの入力を取ることができ、内部状態を使用して、時間の経過とともに系列の変化する挙動をモデル化することもできるからである。

時系列のためのトレーニングフィードフォワードニューラルネットワークは、一般的に同様に機能しない古い方法です。固定サイズの入力を必要とするため、固定サイズのスライド時間ウィンドウを選択する必要があります。また、状態を保存しないため、時変機能を学習することは困難です。

2つの非常に曖昧な参照を除いて、非定常行動をモデル化する確率勾配降下を伴うフィードフォワードニューラルネットの「オンライントレーニング」については、ほとんどごくわずかしか見つかりません。私はこれが、一度に1つのデータストリームを取得しているときに、リアルタイムで訓練することを可能にすること以外に、何らかの利益をもたらすとは思わない。私はそれが実際にあなたが時間に依存する行動をモデル化するのに役立つとは思わない。

ニューラルネットワークのオンライン学習に関する文献で見つかった古い方法のほとんどは、ニューラルネットワークと時間依存性を取り込むのに役立つ他の方法を組み合わせたハイブリッドアプローチを使用しています。ここでも、実際に実装するのはもちろんのこと、RNNよりも劣るはずです。

さらに、私はあなたがオンライントレーニングを正しく実装しているとは思わない。これは、確率的勾配降下で、ミニバッチサイズが1である必要があります。したがって、トレーニングエポックごとに各トレーニング例で勾配降下の反復を1回だけ実行します。次のトレーニングの例に進む前に100回の繰り返しを実行しているので、その1つの例に関してエラー勾配をあまりにも下回ってしまい、結果的に単一のデータポイントに深刻なオーバーフィットが発生します。このため、次の入力時に結果が悪くなります。私はこれが正当なトレーニング方法ではないと思うし、それが時系列のために働くとは思っていません。

あなたのアクティビティが何であるか、あなたの損失関数が何であるかについて言及していないので、それらがタスクに適しているかどうかはコメントできません。

また、私は学習y=ax^2は時系列予測の良い類推ではないと思います。これは、入力のインデックスまたは以前の入力の値に関係なく、常に特定の入力に対して同じ出力を与える静的関数です。