共有非連続アクセスナンシー配列

Question

私は、コピーを含まない方法で多くのPythonプロセス間で共有したいnumpy配列を持っています。私はsharedmemパッケージを使用して既存のnumpy配列から共有numpy配列を作成します。

import sharedmem as shm 
def convert_to_shared_array(A): 
    shared_array = shm.shared_empty(A.shape, A.dtype, order="C") 
    shared_array[...] = A 
    return shared_array 

私の問題は、各サブプロセスが配列内でランダムに分布している行にアクセスする必要があるということです。現在、私はsharedmemパッケージを使って共有numpy配列を作成し、それを各サブプロセスに渡します。各プロセスには、アクセスする必要がある行のリストidxもあります。

#idx = list of randomly distributed integers 

local_array = shared_array[idx,:] 

# Do stuff with local array 

これは別のビューの代わりに配列のコピーを作成します。アレイは非常に大きく、各プロセスが

local_array = shared_array[start:stop,:] 

ような行の連続した範囲にアクセスするようにshareing前に、最初にそれを操作することは時間がかかりすぎます。

質問：配列をコピーすることを含まないPythonプロセス間でnumpy配列へのランダムアクセスを共有する良い解決策はありますか？

サブプロセスには読み取り専用アクセスが必要です（アクセス時にロックする必要はありません）。

Answer 1

ファンシーインデックスはコピーを誘導するので、コピーを回避したい場合にはインデックス作成を避ける必要があります。