maxtasksperchildを使ったPythonマルチプロセッシング

Question

編集：これはPythonのバグであることを確認しました。バグhttp://bugs.python.org/issue10332（私は新しいバグを提出しましたが、それに対応して、管理人が私に10332を指摘しました）。 Pythonのソースリポジトリからプロジェクトディレクトリにマルチプロセッシングディレクトリをコピーしました。テストケースは正しく動作しました。

maxtasksperchildパラメータを削除しない限り、このシンプルなプログラムはうまくいきません。私は間違って何をしていますか？私はそれを実行すると

from multiprocessing import Pool 
import os 
import sys 

def f(x): 
    print "pid: ", os.getpid(), " got: ", x 
    sys.stdout.flush() 
    return [x, x+1] 

def cb(r): 
    print "got result: ", r 

if __name__ == '__main__': 
    pool = Pool(processes=1, maxtasksperchild=9) 
    keys = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10] 
    result = pool.map_async(f, keys, chunksize=1, callback=cb) 
    pool.close() 
    pool.join() 

は、私が取得：

$ python doit.py 
pid: 6409 got: 1 
pid: 6409 got: 2 
pid: 6409 got: 3 
pid: 6409 got: 4 
pid: 6409 got: 5 
pid: 6409 got: 6 
pid: 6409 got: 7 
pid: 6409 got: 8 
pid: 6409 got: 9 

そして、それがハングアップします。つまり、10番目の要素を処理する新しいワーカは生成されませんでした。別の端末で

は、私は以下を参照してください。

$ ps -C python 
    PID TTY   TIME CMD 
6408 pts/11 00:00:00 python 
6409 pts/11 00:00:00 python <defunct> 

これは（Ubuntuのパッケージからインストール）2.7.2+のpythonを実行しているのUbuntu 11.10で行われます。

Answer 1

私はPythonでマルチスレッドを使用することはありませんが、私はあなたがこの行にmaxtasksperchild = 10を作りたいと思います。その変更後のpool = Pool(processes=1, maxtasksperchild=9)、出力は次のようになります。

pid: 8436 got: 1 
pid: 8436 got: 2 
pid: 8436 got: 3 
pid: 8436 got: 4 
pid: 8436 got: 5 
pid: 8436 got: 6 
pid: 8436 got: 7 
pid: 8436 got: 8 
pid: 8436 got: 9 
pid: 8436 got: 10 
got result: [[1, 2], [2, 3], [3, 4], [4, 5], [5, 6], [6, 7], [7, 8], [8, 9], [9, 10], [10, 11]] 

Answer 2

は、一つの処理は、タスクの最大数を実行する意味maxtasksperchild

Answer 3

この問題はpython3で修正されました。

pid: 18316 got: 1 
pid: 18316 got: 2 
pid: 18316 got: 3 
pid: 18316 got: 4 
pid: 18316 got: 5 
pid: 18316 got: 6 
pid: 18316 got: 7 
pid: 18316 got: 8 
pid: 18316 got: 9 
pid: 18317 got: 10 
got result: [[1, 2], [2, 3], [3, 4], [4, 5], [5, 6], [6, 7], [7, 8], [8, 9], [9, 10], [10, 11]]