非常に大きなndarrayをディスクに保存するには？

Question

非常に大きなndarrayをディスクに保存するにはどうすればいいですか？

データの複製を含むすべての解決策は認められませんのでご注意ください。例えば

、このコード

x = pandas.HDFStore("some_file.hdf") 
x.append("a", pandas.DataFrame(a)) 

はunapprovable重複メモリ使用

pandas.DataFrame(a) 

を含みます。

明白なコード

pickle.dump(a, f) 

ハング。

Answer 1

numpyのsave関数が大きな配列を処理できるようです。

from pylab import * 
q = randn(1000, 1000, 1000) 
print('{} G'.format(q.nbytes/1024**3)) 
np.save(open('test_large_array_save.dat', 'wb'), q, allow_pickle=False) 

結果

7.450580596923828 G 

とディスク上に作成された7.5 Gファイル。

監視中のpythonのメモリ使用量は、保存中に顕著に増加しないことを示しているので、コピーは作成されていません。