マルチプロセッシングによる3D配列の塗りつぶし

Question

次のスクリプトからdata1配列をマルチプロセッシングで埋めたいと思います。今のところ、スクリプトはうまく動作しますが、配列はいっぱいになりません。私はthisを実装しようとしましたが、2つのiterablesを使用しているため、動作できませんでした。ヘルプは高く評価しました。ありがとう！ ところで、私は最新のMacOSでジュピターノートを使用しています。

import numpy as np 
import multiprocessing as mp 
from itertools import product 

#Generate random data: 
data = np.random.randn(12,20,20) 

#Create empty array to store the result 
data1 = np.zeros((data.shape), dtype=np.float) 

#Define the function 
def fn(parameters): 
    i = parameters[0] 
    j = parameters[1] 
    data1[:,i,j] = data[:,i,j] 

#Generate processes equal to the number of cores 
pool = mp.Pool(processes=4) 

# Generate values for each parameter: i.e. i and j 
i = range(data.shape[1]) 
j = range(data.shape[2]) 

#generate a list of all combinations of the parameters 
paramlist = list(product(i,j)) 

#call the function and multiprocessing 
np.array(pool.map(fn,paramlist)) 
pool.close() 

Answer 1

Pool.mapとは、ワーカープロセスを使用して特定のデータに関数を適用することです。次に、関数からの戻りデータを収集し、それを親に送信します。

関数は何も返さないため、結果は得られません。

各ワーカーでローカルコピーのうち、data1が変更されます。 :-)

変更するデータが大量の場合は、ワーカープロセスと親の間でデータを移動するためのオーバーヘッドがあるため、multiprocessingは良い解決策ではないことがよくあります。

最初に1つのプロセスを試してみてください。