pythonプロセスを持つプール

Question

Processオブジェクトを使用してPythonでワーカープールを使用しようとしています。各作業者（プロセス）は初期化を行い（ほんのわずかな時間がかかります）、一連のジョブ（理想的にはmap()を使用）を渡して何かを返します。それ以上のコミュニケーションは必要ありません。しかし、私は労働者のcompute()機能を使用するためにmap（）を使用する方法を理解できないようです。

from multiprocessing import Pool, Process 

class Worker(Process): 
    def __init__(self): 
     print 'Worker started' 
     # do some initialization here 
     super(Worker, self).__init__() 

    def compute(self, data): 
     print 'Computing things!' 
     return data * data 

if __name__ == '__main__': 
    # This works fine 
    worker = Worker() 
    print worker.compute(3) 

    # workers get initialized fine 
    pool = Pool(processes = 4, 
       initializer = Worker) 
    data = range(10) 
    # How to use my worker pool? 
    result = pool.map(compute, data) 

代わりに移動するための方法をキュー、または私はmap()を使用することができます仕事ですか？

Answer 1

私はこのためにキューを使用することをお勧めします。

class Worker(Process): 
    def __init__(self, queue): 
     super(Worker, self).__init__() 
     self.queue= queue 

    def run(self): 
     print 'Worker started' 
     # do some initialization here 

     print 'Computing things!' 
     for data in iter(self.queue.get, None): 
      # Use data 

今、あなたはすべてのもののようなものは、あなたが複数のワーカー間で高価なスタートアップコストを償却できるようにする必要があり、単一のキュー

request_queue = Queue() 
for i in range(4): 
    Worker(request_queue).start() 
for data in the_real_source: 
    request_queue.put(data) 
# Sentinel objects to allow clean shutdown: 1 per worker. 
for i in range(4): 
    request_queue.put(None) 

から仕事を得るため、これらの山を開始することができます。

Answer 2

initializerは、イニシャライズを実行する任意の呼び出し可能ファイルを想定しています。たとえば、サブクラスProcessではなく、いくつかのグローバルを設定できます。 mapは任意のイテラブルを受け入れます。

#!/usr/bin/env python 
import multiprocessing as mp 

def init(val): 
    print('do some initialization here') 

def compute(data): 
    print('Computing things!') 
    return data * data 

def produce_data(): 
    yield -100 
    for i in range(10): 
     yield i 
    yield 100 

if __name__=="__main__": 
    p = mp.Pool(initializer=init, initargs=('arg',)) 
    print(p.map(compute, produce_data()))