メモリエラーのない大きなnumpyファイルに多数のnumpyファイルを入れるには？

Question

は、私は一つの大きなファイルに多くのnumpyのファイルを置くためにこの質問Append multiple numpy files to one big numpy file in pythonに従って、結果は次のとおりです。

import matplotlib.pyplot as plt 
import numpy as np 
import glob 
import os, sys 
fpath ="path_Of_my_final_Big_File" 
npyfilespath ="path_of_my_numpy_files" 
os.chdir(npyfilespath) 
npfiles= glob.glob("*.npy") 
npfiles.sort() 
all_arrays = np.zeros((166601,8000)) 
for i,npfile in enumerate(npfiles): 
    all_arrays[i]=np.load(os.path.join(npyfilespath, npfile)) 
np.save(fpath, all_arrays) 
data = np.load(fpath) 
print data 
print data.shape 

私は何千ものファイルを持って、このコードを使用することによって、私は常にメモリエラーを持っているので、I私の結果ファイルを持つことはできません。 このエラーを解決するにはどうすればよいですか？ 最後のnumpyファイルをファイルごとに読み書きし、追加する方法は？

Answer 1

np.memmapにお問い合わせください。ドキュメントから

all_arrays = np.memmap("all_arrays.dat", dtype='float64', mode='w+', shape=(166601,8000)) 

：あなたはall_arraysをインスタンス化することができます

メモリ・マップ・ファイルは、ファイル全体をメモリに読み込むことなく、ディスク上の大きなファイルの小さなセグメントにアクセスするために使用されています。

すべてのアレイにアクセスできますが、オペレーティングシステムは実際に必要な部分をロードします。ドキュメントのページを注意深く読んで、パフォーマンスの観点から、ファイルを列単位で保存するか行単位で保存するかを決めることができます。