マルチプロセッシング共有変数が更新されない

Question

マルチプロセッシングモジュールを使用しているときに、共有変数（名前空間のnumpy配列）を更新しようとしています。しかし、変数は更新されていませんし、理由を理解できません。ここで

はこれを説明するためのサンプルコードです：

from multiprocessing import Process, Manager 
import numpy as np 

chunk_size = 15 
arr_length = 1000 
jobs = [] 
namespace = Manager().Namespace() 
namespace.arr = np.zeros(arr_length) 
nb_chunk = arr_length/chunk_size + 1 


def foo(i, ns): 
    from_idx = chunk_size*i 
    to_idx = min(arr_length, chunk_size*(i+1)) 
    ns.arr[from_idx:to_idx] = np.random.randint(0, 100, to_idx-from_idx) 

for i in np.arange(nb_chunk): 
    p = Process(target=foo, args=(i, namespace)) 
    p.start() 
    jobs.append(p) 
for i in np.arange(nb_chunk): 
    jobs[i].join() 

print namespace.arr[:10] 

Answer 1

の問題はManager().Namespace()オブジェクトが気づかないことですns.arr[from_idx:to_idx] = ...を使用して何かを変更しようとしているため、他のプロセスには伝播しません。

This answerここでは非常に良いことが説明されています。

はManager().List()としてリストを作成し、それを修正し、ns[from_idx:to_idx] = ...が変更として認識され、プロセスに伝播されるように、プロセスにこのリストを渡すには：

from multiprocessing import Process, Manager 
import numpy as np 

chunk_size = 15 
arr_length = 1000 
jobs = [] 
arr = Manager().list([0] * arr_length) 

nb_chunk = arr_length/chunk_size + 1 


def foo(i, ns): 
    from_idx = chunk_size*i 
    to_idx = min(arr_length, chunk_size*(i+1)) 
    ns[from_idx:to_idx] = np.random.randint(0, 100, to_idx-from_idx) 

for i in np.arange(nb_chunk): 
    p = Process(target=foo, args=(i, arr)) 
    p.start() 
    jobs.append(p) 
for i in np.arange(nb_chunk): 
    jobs[i].join() 

print arr[:10] 

Answer 2

あなたは、内蔵listのようなオブジェクトのPythonでのプロセス間dictを共有することはできません。プロセス間でデータを共有するために、Python's multiprocessingは、2つのデータ構造を提供する：

• Queue()
• Pipe()

また読み出す：Exchanging objects between processes