scipyを使用してSVDを実行するときにメモリエラーが発生しました

Question

LSIを使用してドキュメントを表すベクトルを生成しようとしました。私はScipyライブラリでsvdパッケージを使用しています。しかし、プログラムはメモリエラーをスローします。私の行列のサイズは100 * 13057です。これは私の8G RAMには大きすぎますか？

私はこの問題をstackflowで検索しました。私の64ビットOSに64ビットPythonをインストールするだけでいいという人もいます。 （今、私は64ビットOS上に32ビットPythonを持っています）。しかし、すべてのライブラリを再インストールすることはあまりにも簡単です。別の意見は、疎なマトリックスを変換することです。

誰もがこの問題について考えていますか？ありがとう！

raw_matrix = [] 
for text in forest_lsi: 
    raw_matrix.append(text.get_vector()) 
from svd import compute_svd 
print("The size of raw matrix: "+str(len(raw_matrix))+" * "+str(len(raw_matrix[0]))) 
matrix = compute_svd(raw_matrix) 

Concoleのメッセージがのように怒鳴るです：あなたは約あるデフォルトdtype=np.floatを、使用している場合

The size of raw matrix: 100 * 13057 
Original matrix: 
[[1 1 2 ..., 0 0 0] 
[0 3 0 ..., 0 0 0] 
[0 0 0 ..., 0 0 0] 
..., 
[0 0 0 ..., 0 0 0] 
[0 0 1 ..., 0 0 0] 
[0 0 2 ..., 1 1 3]] 
Traceback (most recent call last): 
    File "D:\workspace\PyQuEST\src\Practice\baseline_lsi.py", line 93, in <module> 
    matrix = compute_svd(raw_matrix) 
    File "D:\workspace\PyQuEST\src\Practice\svd.py", line 12, in compute_svd 
    U, s, V = linalg.svd(matrix) 
    File "D:\Program\Python26\lib\site-packages\scipy\linalg\decomp_svd.py", line 79, in svd 
    full_matrices=full_matrices, overwrite_a = overwrite_a) 
MemoryError 

Answer 1

あなたV行列は、メモリの13057*13057*8バイトがかかります。 1.4GB。私の感想は、それがあなたの32ビットPythonにとって大きすぎるということです。 dtype=np.float32という32ビットの浮動小数点数を使用して、メモリ使用量を半分にするか、scipy.sparse（ほとんどの場合、情報検索の問題には良いアイディア）を使用してください。