複数のファイルを扱うPythonのマルチプロセッシング

Question

複数のファイルを同時に変換するスクリプトを実行しましたが、いくつかのプロセスで4つのファイルを変換する代わりに、コードは複数のプロセスでファイルを1つずつ変換します。

def convert (directoryName): 
    for path, dirs, files in os.walk(directoryName): 
    for f in files: 
     if f.endswith(".txt") 
     f1=f 
     path1=path   
     p=mp.Process(target=convert1, args=(path1,f1,)) 
    p.start() 

アイデアはありますか？

Answer 1

あなたのコードは毎回pを上書きするので、ループが終了したときには1つのプロセスしか開始しません。あなたが最終的にすべてのプロセスにjoinを呼び出すことができるように

代わりに、あなたがプロセスを作成するときにp.startを呼び出し、それを格納します。

def convert (directoryName): 
    process_list = [] 
    for path, dirs, files in os.walk(directoryName): 
    for f in files: 
     if f.endswith(".txt") 
     f1=f 
     path1=path   
     p=mp.Process(target=convert_stdf_hdf5, args=(path1,f1,)) 
     p.start() 
     process_list.append(p) 
    # wait for processes to finish 
    for p in process_list: 
    p.join() 

Answer 2

あなたは簡単にStarmapのを使用してそれを行うことができます。 （Python3.3以降）

import os 
from multiprocessing import Pool 

def convert(directoryName): 
    p = Pool() 
    args = [] 
    for path, dirs, files in os.walk(directoryName): 
     args.extend([[path, f] for f in files if f.endswith('.txt')]) 
    p.starmap(convert_stdf_hdf5, args) 

if __name__ == '__main__': 
    convert('path/to/target/')