速く、複数の正規表現の文字列がPythonと一致する

Question

多くの文字列正規表現を1つの長い文字列にマッチさせ、すべてのマッチでデリミタを数えようとしています。同時に、一度に多くの正規表現を検索するmultiprocessingを使用して：

with open('many_regex', 'r') as f: 
    sch = f.readlines() 

with open('big_string', 'r') as f: 
    text = f.read() 

import re 
def search_sch(sch,text = text): 
    delim_index = [] 
    last_found = 0 
    for match in re.finditer(sch, text): 
     count_delims = len(re.findall('##', text[last_found:match.start()])) 
     if delim_index: 
      count_delims += delim_index[-1] 
     delim_index.append(count_delims) 
     last_found = match.end() 
    return delim_index 

from multiprocessing.dummy import Pool 

with Pool(8) as threadpool: 
    matches = threadpool.map(search_sch, sch[:100]) 

threadpool.mapが実行する25S程度かかり、そして単一のCPUコアが利用されます。なぜもっと多くのコアが使われていないのか？また、任意のPythonライブラリは、これを高速に行うには？

Answer 1

multiprocessing.dummyからのクラスPoolクラスは、マルチプロセッシングの代わりにスレッドを使用します。これは、グローバルインタプリタロックが問題であることを意味します。あなたは実際のマルチプロセッシングを使いたいです。そのため、

from multiprocessing import Pool