python3を使用してファイルを処理するためにマルチスレッドを使用する

Question

私のCPUの単一コアを使用してファイルを処理しようとしています。しかし、私はそれが単一のコアを使用するのに十分ではないと思います。代わりに、自分のシステムの複数のコアにアクセスできたら、そのプロセスをより速く、より速く実行させることができます。

残念ながら、私は単一コアのみを使用してファイルを処理することを知っています。ここに私がやったことです：

data = open('datafile','r',encoding='ascii',errors='ignore') 
for line in data.readlines(): 
    splitted = line.lower().strip().split() 
    check = process(splitted[0],splitted[1]) 
    if check == '': 
     pass 
data.close() 

私は別にlineを取り、必要に応じて出力を取得中TEH process()を処理するためにCPUの完全な能力を使用する方法を知りたいですか？処理中にスレッドのデッドロック状態をどのように回避しても、プロセス出力には危険があります。

あなたの意見を私と共有してください。

Answer 1

まず、複数のコアを使用するには複数のプロセスが必要です。スレッドではありません。それはGILによる制限です。

は今ここにあなたがmultiprocessing.Poolとそれを実装する方法の例です：それは行毎にファイルを読み込むないだから何

from multiprocessing import Pool, cpu_count 

def process(arg1, arg2): 
    ... 

workers_count = 2*cpu_count()+1 # or whatever you need 
pool = Pool(processes=workers_count) 

with open('datafile','r',encoding='ascii',errors='ignore') as fo: 
    buffer = [] 
    for line in fo: 
     splitted = line.lower().strip().split() 
     buffer.append((splitted[0], splitted[1])) 
     if len(buffer) == workers_count: 
      results = pool.map(process, buffer) 
      buffer = [] 
      # do something with results 
    if buffer: 
     results = pool.map(process, buffer) 
     # do something with results again 

をし、それが十分なデータを収集したら、それはマルチプールと待機に送信します並列処理のために。 SSDを使用していない限り、ディスクioを並行して実行すると、パフォーマンスが低下するだけです（行単位での読み込みを並列化することも些細なことではありません）。

複数のプロセスが使用されるため、それらの間でメモリを共有することはできません。すなわち、process関数はグローバル変数を読み書きするべきではありません。