いつPythonでmultiprocessing.Poolでmap（）を使用しないのですか？大入力値の場合

Question

各入力値が,（たとえば500MB）の大文字小文字の入力値が一般的に同じ場合、multiprocessing.Pool.map()と並行して多くの結果を計算するのが効率的ですか？ multiprocessingの仕組みは、各入力値のpickled版をプール内の各ワーカープロセスに送信することによると思います。最適化が行われない場合は、入力値ごとに多くのデータをmap()に送信することを意味します。これは本当ですか？私はすぐにmultiprocessingコードを見ましたが、何も明らかではありませんでした。より一般的に

、シンプルなものを並列化戦略をあなたがそれらの各ベクトルは常に異なっているタプル(vector, very_large_matrix)、あること、言っ万個の値にmap()を行うようお勧めしますが、唯一の5種類が非常に大きな存在と言っているところ行列？

PS：大きな入力が実際に「徐々に」が表示される行列：2,000ベクトルが最初最初行列と一緒に送られ、その後、2000のベクトルが第2のマトリックスで送信され、など

Answer 1

私はと思います明らかな解決策は、オブジェクト自体の複製ではなく、very_large_matrixへの参照を送信することです。 5つの大きな行列がある場合は、それらをメインプロセスで作成します。次にmultiprocessing.Poolがインスタンス化されると、親プロセスのアドレス空間をクローン化するいくつかの子プロセスが作成されます。つまり、プール内に6つのプロセスがある場合、（1 + 6）* 5の異なる行列が同時にメモリに格納されます。

だから、メインプロセス内のすべてのユニーク行列の参照を作成します。

matrix_lookup = {1 : matrix(...), 2 : matrix(...), ...} 

を次にワーカープロセスへのベクトルと一緒にmatrix_lookupで各行列のインデックスを渡します

p = Pool(6) 
pool.map(func, [(vector, 1), (vector, 2), (vector, 1), ...]) 

Answer 2

同様の問題、大きなデータセットの計算を並列化してみました。あなたが言及したようにmultiprocessing.Pool.mapは、引数を漬けます。私がやったのは、自分自身のfork()ラッパーを実装して、戻り値を親プロセスに戻すだけだったので、引数を消してしまうのを避けました。また、ラッパーの上に並列map()があります。