Pythonのマルチプロセッシングと共有numpyの配列

Question

は、私はこれに似ている、という問題がある。

import numpy as np 

C = np.zeros((100,10)) 

for i in range(10): 
    C_sub = get_sub_matrix_C(i, other_args) # shape 10x10 
    C[i*10:(i+1)*10,:10] = C_sub 

ので、どうやら各部分行列を独立に計算することができるので、シリアル計算としてこれを実行する必要はありません。 マルチプロセッシングモジュールを使用して、forループのプロセスを4つまで作成したいと思います。 私はマルチプロセッシングに関するいくつかのチュートリアルを読んだが、これを使って自分の問題を解決する方法を理解することはできなかった。あなたの助けのための

おかげ

Answer 1

そのコードを並列化する簡単な方法は、プロセスのPoolを使用することです：

pool = multiprocessing.Pool() 
results = pool.starmap(get_sub_matrix_C, ((i, other_args) for i in range(10))) 

for i, res in enumerate(results): 
    C[i*10:(i+1)*10,:10] = res 

get_sub_matrix_C関数は複数の引数（starmap(f, [(x1, ..., xN)])呼び出しf(x1, ..., xN)）を持っているので、私はstarmapを使用しました。

ただし、シリアライズ/デシリアライゼーションにはかなりの時間がかかります（および）ので、オーバーヘッドを避けるために、より低レベルのソリューションを使用する必要があります。

---

古くなったバージョンのPythonを実行しているようです。 **かなりの時間を取る必要があります**性能向上に計算を得るために、マルチプロセッシングためには

def f(args): 
    return get_sub_matrix_C(*args) 

pool = multiprocessing.Pool() 
results = pool.map(f, ((i, other_args) for i in range(10))) 

for i, res in enumerate(results): 
    C[i*10:(i+1)*10,:10] = res 

Answer 2

以下のレシピは、おそらく仕事をすることができます。お気軽にお尋ねください。

import numpy as np 
import multiprocessing 

def processParallel(): 

    def own_process(i, other_args, out_queue): 
     C_sub = get_sub_matrix_C(i, other_args) 
     out_queue.put(C_sub)    

    sub_matrices_list = [] 
    out_queue = multiprocessing.Queue() 
    other_args = 0 
    for i in range(10): 
     p = multiprocessing.Process(
          target=own_process, 
          args=(i, other_args, out_queue)) 
     procs.append(p) 
     p.start() 

    for i in range(10): 
     sub_matrices_list.extend(out_queue.get()) 

    for p in procs: 
     p.join() 

    return sub_matrices_list  

C = np.zeros((100,10)) 

result = processParallel() 

for i in range(10): 
    C[i*10:(i+1)*10,:10] = result[i]