numpy.stdはMemoryError

Question

私は巨大な（30ギガバイト）を持っているndarrayメモリマップドで失敗します1ギガバイトの下に）私は、標準偏差を計算したい：この行はMemoryErrorで無残に失敗し

print('stdev: {0:4.4f}\n'.format(numpy.std(arr)))

。

これがなぜ失敗するのかわかりません。私はメモリ効率的な方法でこれらを計算するヒントに感謝しますか？

環境：stdとmeanのvenv + Python3.6.2 + numpyの1.13.1実際

Answer 1

import math 
BLOCKSIZE = 1024**2 
# For numerical stability. The closer this is to mean(arr), the better. 
PIVOT = arr[0] 


n = len(arr) 
sum_ = 0. 
sum_sq = 0. 
for block_start in xrange(0, n, BLOCKSIZE): 
    block_data = arr[block_start:block_start + BLOCKSIZE] 
    block_data -= PIVOT 
    sum_ += math.fsum(block_data) 
    sum_sq += math.fsum(block_data**2) 

stdev = np.sqrt(sum_sq/n - (sum_/n)**2) 

Answer 2

numpyのの実装では、配列の完全なコピーを作成し、恐ろしくメモリ非効率的です。ここではより高度な実装である：

# Memory overhead is BLOCKSIZE * itemsize. Should be at least ~1MB 
# for efficient HDD access. 
BLOCKSIZE = 1024**2 
# For numerical stability. The closer this is to mean(arr), the better. 
PIVOT = arr[0] 

n = len(arr) 
sum_ = 0. 
sum_sq = 0. 
for block_start in xrange(0, n, BLOCKSIZE): 
    block_data = arr[block_start:block_start + BLOCKSIZE] 
    block_data -= PIVOT 
    sum_ += np.sum(block_data) 
    sum_sq += np.sum(block_data**2) 
stdev = np.sqrt(sum_sq/n - (sum_/n)**2)