Tensorflow Estimator自己修復訓練オーバーフィットで

Question

私はtensorflows見積もりAPIのいくつかの学習経験があります。テンソルフローのtf.contrib.learn.DNNClassifier（tf.estimator.DNNClassifierがあることはわかっていますが、テンソルフロー1.2で作業する必要があります）の小さなデータセットでいくつかの分類作業を行っています。私はテストデータセットのaccuracy graphを取得しています。なぜこれらの負のピークがあるのだろうか。 私は彼らが過適合と自己修復のために発生する可能性があると思った。ピーク後の次のデータポイントは、前のポイントと同じ値を持つように見えます。

私は、見積もりの​​列車機能がそのようなメカニズムを持っているが何も見つからなかったという証拠を見つけるためにコードを調べようとしました。

このようなメカニズムが存在するのでしょうか、それとも他に説明がありますか？

Answer 1

私はEstimatorの列車機能にこのようなメカニズムがないとは思いません。

いくつかの可能な理論：

• は、あなたのトレーニングはいつでも再開していますか？モデルに推定移動平均（EMA）がある場合、再起動時に移動平均を再計算する必要がある可能性があります。
• 入力データはランダム化されていますか？もしそうでなければ、入力データのパッチがすべて誤って分類され、再びEMAが平滑化される可能性があります。

これは私にはかなり神秘的です。あなたが本当の問題が何であるかを知っていれば分かち合いましょう！