トレーニングニューラルネットワークのデータのバッチをシャッフルする

Question

GRUネットワークに使用するトレーニングデータは6.5GBあります。ラップトップコンピュータを使用しているので、トレーニング時間を分割する、つまりトレーニングを一時停止して再開します。私は6.5 GB全体を使って神経網を訓練するのに数日かかるだろうと仮定しているので、私は訓練を休止してからもう一度再開します。

ここに私の質問です。トレーニングデータのバッチをシャッフルする場合、ニューラルネットはトレーニング用に既に使用されているデータを覚えていますか？

global_stepのパラメータはtf.train.Saver().saveです。

ありがとうございます！

Answer 1

特定のエポックでモデルを保存することをお勧めします.80エポックがあるとしますが、20epochs（20,40,60）ごとにモデルを保存することをお勧めしますが、これもまた容量あなたのラップトップ、その理由は、1つのエポックでは、あなたのネットワークは、すべてのデータセット（トレーニングセット）を見ているでしょう。あなたの全体のデータセットは、1つのエポックで処理することができない場合は、シャッフルの全体的なポイントは、ネットワークにデータセット全体でいくつかの一般化をさせることです。通常、バッチまたはトレーニングデータセットの選択、または新しいトレーニングエポックの開始で行われます。間違いなくトレーニングと再開時にバッハをシャッフルすることができます。シャッフルバッチは、1つの画像の代わりにバッチに沿ってグラジエントが計算されるようにします。