スパース行列からアイテムを抽出する

Question

私は一連のテキストコーパスを使用しています。そのため、共起行列を構築する必要があります。私は現在、コードをテストしていますので、実行するたびに別の行列が得られます（list(set())は順序付けされていません）。scipy.sparse.coo_matrix()を使用して疎行列を構築しました。工事の種類。私は、これはそれを行うための最速かつ最もメモリeffictient方法だろうと想像する。私はそれらの値にアクセスしようとしたとき、私は私が得る疎行列をprintた瞬間に、私は

[<1x16 sparse matrix of type '<class 'numpy.float32'>' 
with 10 stored elements in Compressed Sparse Row format>, <1x16 sparse matrix of type '<class 'numpy.float32'>' 
with 4 stored elements in Compressed Sparse Row format>, <1x16 sparse matrix of type '<class 'numpy.float32'>' 
with 4 stored elements in Compressed Sparse Row format>, <1x16 sparse matrix of type '<class 'numpy.float32'>' 
with 7 stored elements in Compressed Sparse Row format>, <1x16 sparse matrix of type '<class 'numpy.float32'>' 

を提示しています次のようになります。

(0, 1) 0.5 
    (0, 4) 1.0 
    (0, 6) 0.5 
    (1, 7) 1.0 
    (1, 11) 1.0 
    (1, 12) 1.0 
    (1, 13) 0.5 
    (2, 14) 0.5 
    ... 
    (15, 6) 1.0 
    (15, 9) 0.5 
    (15, 15) 3.0 
    (15, 0) 2.0 
    (15, 1) 0.5 
    (15, 6) 0.5 
    (15, 14) 1.5 

私は、それらが現れるときの値は可能です。上記の例の場合

私は、次のインスタンスを抽出します。私はsps_array.toarrayを使用してsps_arrayを変換することができるよ瞬間

row = [0, 0, 0, 1, 1, 1, 1, 2, 2, 2, 2, 3, 3, 3, 3, 3, 3, 3, 3, 3, 4, 4, 4, 
     4, 4, 4, 4, 5, 5, 5, 5, 5, 5, 5, 6, 6, 6, 6, 7, 7, 7, 7, 8, 8, 8, 8, 
     9, 9, 9, 9, 10, 10, 10, 10, 11, 11, 11, 11, 12, 12, 12, 12, 13, 13, 
     13, 13, 13, 13, 13, 13, 13, 14, 14, 14, 14, 14, 14, 14, 15, 15, 15, 
     15, 15, 15, 15, 15, 15, 15] 

column = [1, 4, 6, 7, 11, 12, 13, 14, 15, 0, 4, 9, 12, 13, 14, 15, 4, 5, 12, 13, 
     4, 9, 13, 14, 0, 1, 2, 3, 5, 8, 10, 12, 13, 14, 2, 4, 12, 13, 0, 14, 
     15, 0, 8, 11, 13, 4, 7, 10, 11, 1, 3, 12, 14, 4, 8, 11, 13, 0, 7, 8, 
     10, 0, 1, 2, 4, 5, 9, 13, 0, 1, 2, 3, 4, 5, 7, 10, 12, 0, 1, 3, 4, 6, 
     9, 15, 0, 1, 6, 14] 

values = [0.5, 1.0, 0.5, 1.0, 1.0, 1.0, 0.5, 0.5, 1.0, 1.0, 0.5, 0.5, 1.0, 0.5, 
      1.0, 0.5, 1.0, 0.5, 1.0, 0.5, 0.5, 1.0, 0.5, 1.0, 1.0, 1.0, 1.0, 0.5, 
      0.5, 1.0, 0.5, 0.5, 1.0, 1.0, 1.5, 2.0, 1.0, 2.5, 1.0, 3.0, 1.0, 0.5, 
      1.5, 2.0, 1.0, 1.0, 2.0, 0.5, 1.0, 0.5, 2.0, 2.0, 0.5, 4.0, 0.5, 0.5, 
      0.5, 1.0, 1.0, 0.5, 0.5, 1.0, 0.5, 1.0, 1.0, 0.5, 0.5, 0.5, 2.5, 1.0, 
      4.0, 1.0, 1.0, 1.5, 1.0, 1.0, 1.0, 0.5, 1.0, 0.5, 1.0, 1.0, 0.5, 3.0, 
      2.0, 0.5, 0.5, 1.5] 

sps_array = sparse.coo_matrix((values, (row, column)), shape=(16, 16)) 

はその後

list1 = list(np.nonzero(sps_array > 0)[0]) 
list2 = list(np.nonzero(sps_array > 0)[1]) 

し、次のように作成するリストを作成し、その後for座標を再構成するループ

index = 0 
sps_coordinates = [] 

for i in range(token_size): 
    for j in range(list1_count[i]): 
     sps_coordinates.append((list1[index+j], list2[index+j])) 
    index += list1_count[i] 

私は

list(sps_array[sps_array > 0] 

で値を取得するには、私がやっていることに関連し、それらの座標と値を取得するためのより効率的な方法はありますか？コピー-N-ペーストを

Answer 1

I構築物あなたsps_array：

In [2126]: sps_array 
Out[2126]: 
<16x16 sparse matrix of type '<class 'numpy.float64'>' 
    with 88 stored elements in COOrdinate format> 

cooフォーマットは、それぞれ（3入力リストに由来する）配列が3つの属性にその値を記憶する：

In [2127]: sps_array.data 
Out[2127]: 
array([ 0.5, 1. , 0.5, 1. , 1. , 1. , 0.5, 0.5, 1. , 1. , 0.5, 
     0.5, 1. , 0.5, 1. , 0.5, 1. , 0.5, 1. , 0.5, 0.5, 1. , 
     0.5, 1. , 1. , 1. , 1. , 0.5, 0.5, 1. , 0.5, 0.5, 1. , 
     1. , 1.5, 2. , 1. , 2.5, 1. , 3. , 1. , 0.5, 1.5, 2. , 
     1. , 1. , 2. , 0.5, 1. , 0.5, 2. , 2. , 0.5, 4. , 0.5, 
     0.5, 0.5, 1. , 1. , 0.5, 0.5, 1. , 0.5, 1. , 1. , 0.5, 
     0.5, 0.5, 2.5, 1. , 4. , 1. , 1. , 1.5, 1. , 1. , 1. , 
     0.5, 1. , 0.5, 1. , 1. , 0.5, 3. , 2. , 0.5, 0.5, 1.5]) 
In [2128]: sps_array.row 
Out[2128]: 
array([ 0, 0, 0, 1, 1, 1, 1, 2, 2, 2, 2, 3, 3, 3, 3, 3, 3, 
     3, 3, 3, 4, 4, 4, 4, 4, 4, 4, 5, 5, 5, 5, 5, 5, 5, 
     6, 6, 6, 6, 7, 7, 7, 7, 8, 8, 8, 8, 9, 9, 9, 9, 10, 
     10, 10, 10, 11, 11, 11, 11, 12, 12, 12, 12, 13, 13, 13, 13, 13, 13, 
     13, 13, 13, 14, 14, 14, 14, 14, 14, 14, 15, 15, 15, 15, 15, 15, 15, 
     15, 15, 15], dtype=int32) 
In [2129]: sps_array.col 
Out[2129]: 
array([ 1, 4, 6, 7, 11, 12, 13, 14, 15, 0, 4, 9, 12, 13, 14, 15, 4, 
     5, 12, 13, 4, 9, 13, 14, 0, 1, 2, 3, 5, 8, 10, 12, 13, 14, 
     2, 4, 12, 13, 0, 14, 15, 0, 8, 11, 13, 4, 7, 10, 11, 1, 3, 
     12, 14, 4, 8, 11, 13, 0, 7, 8, 10, 0, 1, 2, 4, 5, 9, 13, 
     0, 1, 2, 3, 4, 5, 7, 10, 12, 0, 1, 3, 4, 6, 9, 15, 0, 
     1, 6, 14], dtype=int32) 

スパースマトリックスコードであるnonzero方法があります

A = self.tocoo() 
    nz_mask = A.data != 0 
    return (A.row[nz_mask],A.col[nz_mask]) 

を

マトリックスがcooフォーマットであることを確認し、データに「隠された」ゼロがないことを確認し、rowおよびcol属性を返します。

マトリックスがすでにcooの場合はこれは必要ありませんが、マトリックスがcsrフォーマットの場合は必要です。

したがって、密なtoarrayおよびnp.nonzero機能を通過する必要はありません。ただし、np.nonzero(sps_array)は、タスクをsps.array.nonzero()に委任するため、機能します。実際に

In [2136]: np.transpose(np.nonzero(sps_array)) 
Out[2136]: 
array([[ 0, 1], 
     [ 0, 4], 
     [ 0, 6], 
     [ 1, 7], 
     [ 1, 11], 
     [ 1, 12], 
     .... 

はちょうどこの（任意の配列のために）（そのコードやドキュメントを見て）いNP機能があります：nonzeroにtransposeを適用

は、あなたが望むかもしれ配列を与えます：

np.argwhere(sps_array) 

（あなたがnonzero(sps_array>0)を使用する必要はありません - あなたは負の値を心配している場合を除きます。）