ハードウェア制約付きマシン学習モデルトレーニング

Question

ハードウェアがトレーニングデータ全体をサポートできない大規模なトレーニングデータでマシン学習モデルをトレーニングするアプローチがあるかどうかは疑問です。

Answer 1

これは増分学習ならびに確率的勾配降下（およびそのミニバッチ一般化）のような技術のexistanceのための重要な理由の一つです。一般に、ハードウェア（GPUなど）に適合しなければならないのは、トレーニングデータの小さなバッチを解析するのに十分な容量を備えたモデルそのものだけです。特に、すべての最新のニューラルネットは、そのような方法で訓練されます（データがモデルを介してバッチで送信される場合、データセット全体をメモリに入れる必要はありません）。