デフォールトディクティックをnumpy行列または2次元行列のCSVに変換する

Question

データセットに2ワードごとのデータ共起を格納するdefaultdictがあります。私はすべてのペアがデータセットに存在するわけではないので、疎な表現を得るためにこのosを実行しており、したがっていくつかのメモリ空間を節約しています。

可能であれば、このdefaultdictをnumpy行列に変換できる標準機能がいくつかあります。私はdictをnumpy配列に変換する方法を認識しています。しかし、私は、defaultdictをmatrixに変換するより効率的な方法を探しています。

defaultdictをCSVに変換する標準機能がないので、numpyを使用してcsvをロードできます。

を編集しました - 私はパンダを使用して回避策を見つけました。私はdefaultdictをDataFrameに変換し、DFをnumpy行列に変換します。これ以上の方法はありますか？

しかし、悲しいことに、これはメモリの節約に役立ちません。あなたのデータを仮定

は

Answer 1

次のようなものになります：あなたが使用したい

data = defaultdict(int) 
data[0,0] = 10 
data[1,1] = 100 

をscipy.sparse.coo_matrix：少し奇妙な出力を提供します

items = list(data.items()) # list only needed for python3 
vs = [v for (i,j), v in items] 
ii = [i for (i,j), v in items] 
j j= [j for (i,j), v in items] 
matrix = scipy.sparse.coo_matrix((vs, (ii, jj)) 

：

>>> print matrix 
    (0, 0) 10 
    (1, 1) 100 

しかし、あなたはこれを扱うことができますあたかも密度の高い行列であるかのようにオブジェクトになります