線形回帰計算機巨大なデータを使ってモデルを学習する

Question

私は列車ファイルが約8GBである機械学習線形回帰問題に取り組んでいます。

私のTpは高い構成ですが、それはサポートしていません。したがって、トレーニングの目的でファイル全体を渡す代わりに、列車ファイルを 10/20ファイルに分割し、これらのファイルを1つずつモデルに訓練することはできますか？

このアプローチは機能するのでしょうか、またはデータ全体を1回でトレーニングする必要がありますか？

Answer 1

はい、動作します。このようにするにはStochastic Gradient Descentと呼ばれ、データがメモリに収まらないときに訓練する標準的な方法です。

確率的な意味は「ランダム性」です。これは、すべてのデータの実際の勾配に従わず、一部のデータに基づいて勾配を近似するためです。正確な正しい方向に更新しているわけではありませんが、ステップサイズが十分に小さく、バッチが十分に大きければ、手順はまだまだ効果的です。

ただし、注意の言葉：各ファイルで順番に完了するようにトレーニングすることはできません。これを行うと、2番目のファイルをトレーニングすると、1番目のファイルで学習した値が忘れられます。

代わりに、データの「バッチ」と呼ばれるものについてトレーニングし、バッチごとに1つの更新ステップを実行する必要があります。

for file in files: 
    while not Model.stop_condition(): 
     Model.train_step(file) 

そして、これは良いです：：

ので、これは悪いです

while not Model.stop_condition(): 
    for file in files: 
     Model.train_step(file)