巨大なデータセットとの相関行列 - Python

Question

Pythonでは、データセットXがあり、行がサンプルの異なる要素であり、列がサンプルの異なるフィーチャである場合、私は通常、次のように相関行列を計算します（ゼロ）意味：

import numpy as np 
np.transpose(X).dot(X)/row 

は今、私は10のmilion行と列の1 milionを持っているデータセットXを持っている、と私はその相関行列を計算しようとすると、コンピュータがブロックされたままになります。 forループを実行する代わりに、データセットが小さくても非常に遅いため、実行できないように見えます。

どのように私はそのようなデータ量を管理するのですか？

Answer 1

おそらく発電機を使用できますか？私はそれが受け入れがたい速いかどうかわからないが、それはコンピュータがブロックされないようにメモリ上より良いでしょう。例を言い換えこのhttps://gist.github.com/thatdatabaseguy/2577076

よう 何か：

import numpy as np 

def my_gen(some_tuple): 
    for each in some_tuple: 
     yield each 

X = np.fromiter(my_gen(database.get_data())) # get_data() would return a cursor 

編集： これは、あなたのデータを分割/変換/縮小の別の方法を見つけることができない場合にはあります。どちらの方法でも、1台のコンピュータで処理するのは難しいでしょう。 幸運を祈る！