TensorFlow：トレーニングデータセットをバッチに分割するかどうかを判断する方法

Question

私はTensorFlow（一般的な深い学習と同様に）を学んでいます。私は入力トレーニングデータをいつバッチに分割する必要があるのだろうかと思いますか？バッチサイズはどのようにして決めるのですか？経験則がありますか？ありがとう！

Answer 1

一般的に、ディープラーニングアルゴリズムは限られたメモリしか持たないため、限られた数の入力データサンプル（バッチサイズとして一般的に定義されているアルゴリズム）を一度に読み込むことができます。

一般に、バッチサイズが大きくなると、全体的な計算時間が短縮されます（GPUで内部行列乗算が並列に行われるため、バッチサイズが大きくなるため、読み取り/書き込みグラディエントやその他の操作出力に時間が節約されます） 。

大きなバッチサイズの別の可能性の利点がある：マルチクラス分類問題で 、クラスの数が大きい場合、 大きなバッチサイズは、アルゴリズムがより良い一般化させる（技術的にオーバーフィッティング回避）異なるクラス（上これを標準的な手法としているのは、クラス内のクラスを一様に分散させることです）。

バッチサイズを決定する際には、学習率と最適化方法の種類があります。

これがある程度あなたの質問に答えることを願っています！