オンライン学習のためのTensorflow

ストリーミングデータがあり、SGDを使用して、完全に接続されたニューラルネットワークチャンクをテンソルフローのチャンクでトレーニングするとします。オンライン学習のためのTensorflow

をチャンクで生データチャンクを正規化する方法：私が直面した

通報しますか？
rawデータにbatch_normalizationを使用し、完全に接続されたNNにフィードすることはできますか？

2017-03-13 Yihan Bao

Re（1）tf.metrics.mean_tensorを使用すると、ストリーミング平均と標準偏差を計算できます。

Re（2）はい、おそらくbatch_normでこれを行うことができます。

2017-03-14 16:12:46

入力rawデータにbatch_normを使用すると、完全に接続されたレイヤーを実行すると、学習率がどれほど小さくてもクロスエントロピーが増加しています。そのbatch_normレイヤーがなければ、すべてが正しく機能します。正規化列車データとテストデータにtf.metrics.mean_tensorを使用する方法はよくわかりません。 –

バッチ正規化は、すべての問題で動作するとは限りません。たぶんあなたはそのパラメータを調整する必要があります。平均を削除してデータを正規化するには、mean_tensorを計算してデータから減算することができます。テンソルの平方のmean_tensorを計算することによって分散を計算することもできます。 –

オンライン学習のためのTensorflow

答えて

関連する問題