コード（Python）でマルチプロセスを使ってマルチスレッドを変更するには

Question

Pythonでスレッドとキューを使ってcaesar-cipherを実装するプログラムを作成しました。私は自分のコードでマルチプロセッシングを使ってすべてのスレッディング作業を変更したいと思います。実装を開始する方法については、&の説明ができれば幸いです。ここでは、コードは次のようになります。

import threading 
import Queue 
import sys 
import string 

lock = threading.Lock() 
def do_work(in_queue, out_queue, shift): 
    while True: 
     lock.acquire() 
     item = in_queue.get() 
     result = caesar(item, shift) 
     out_queue.put(result) 
     in_queue.task_done() 
     lock.release() 
def caesar(plaintext, shift): 
    plaintext = plaintext.upper() 
    alphabet = string.ascii_uppercase 
    shifted_alphabet = alphabet[shift:] + alphabet[:shift] 
    table = string.maketrans(alphabet, shifted_alphabet) 
    return plaintext.translate(table) 

if __name__ == "__main__": 
    if len(sys.argv) != 4: 
     print("Duzgun giriniz: '<filename>.py s n l'") 
     sys.exit(0) 
    else: 
     s = int(sys.argv[1]) 
     n = int(sys.argv[2]) 
     l = int(sys.argv[3]) 

    work = Queue.Queue() 
    results = Queue.Queue() 
    myfile=open('metin.txt','r') 
    text_data=myfile.read() # <=== here load file 
    index=0 

    for i in xrange(n): 
     t = threading.Thread(target=do_work, args=(work, results, s)) 
     t.daemon = True 
     t.start() 

    for i in range(0, len(text_data), l): 
     work.put(text_data[index:index + l]) 
     index += l 

    work.join() 

    index=0 
    output_file=open("crypted"+ "_"+ str(s)+"_"+str(n)+"_"+str(l)+".txt", "w") 
    for i in range(0, len(text_data), l): 
     output_file.write(results.get()) 
     index += l 
    sys.exit() 

Answer 1

あなたは自分自身にいくつかのコードを保存し、標準multiprocessing.Pool実装に移動することができます。

import multiprocessing 
import sys 
import string 
import itertools 

# for non-forking systems like Windows 
def worker(args): 
    # args: (text, shift) 
    return caesar(*args) 

# for forking systems like linux 
def forking_worker(args): 
    # args: ((start_index, end_index), shift) 
    return caesar(text_data[args[0][0]:args[0][1], args[1]) 

def caesar(plaintext, shift): 
    plaintext = plaintext.upper() 
    alphabet = string.ascii_uppercase 
    shifted_alphabet = alphabet[shift:] + alphabet[:shift] 
    table = string.maketrans(alphabet, shifted_alphabet) 
    return plaintext.translate(table) 

if __name__ == "__main__": 
    if len(sys.argv) != 4: 
     print("Duzgun giriniz: '<filename>.py s n l'") 
     sys.exit(0) 
    else: 
     s = int(sys.argv[1]) 
     n = int(sys.argv[2]) 
     l = int(sys.argv[3]) 

    pool = multiprocessing.Pool() # todo: change number of cpus... 
    with open('metin.txt') as myfile: 
     text_data=myfile.read() # <=== here load file 

    # on a forking system so only pass index, not text to child 
    result = pool.map(forking_worker, 
     zip(((index, index + l) 
      for index in range(0, len(text_data), l)), 
      itertools.cycle([s]))) 

    with open("crypted"+ "_"+ str(s)+"_"+str(n)+"_"+str(l)+".txt", "w") as output_file: 
     output_file.writelines(result)