パイソン - 画像データの多くを前処理 - ループは私のPythonスクリプトに次のコードを持っている

Question

をフリーズ：

def process_data(data): 
    features = [] 

    for i in range(int(len(data))): # Should iterate 33'000 times (length of data) 
     for j in range(3): 
      img = plt.imread(data[i][j].strip()) # Data is from a csv file 
      img = normalize(img) # Simple calculation 

      lis = img.flatten().tolist() 
      features += lis 

return features 

これは、前処理の約33'000 * 3回全体のデータを実行する必要があります。しかし、約10'000-12'000反復後、スクリプトは急速に減速し、フリーズし、時には私のマシン（i7 - 3.6GHz、8GB RAM）もフリーズします。

どうすればよいですか？データを分割するのは難しいです。前にKerasのfit_generatorを使用するように言われましたが、どうすればできますか？

Answer 1

これらのイメージファイルの大きさによっては、RAMが不足して強制的にスワップする可能性があります。それはシステムが低速になる原因になります。 処理されたすべてのファイルをリストに集める代わりに、一度に1つずつ書き出すことはできますか？