Pythonマルチプロセッシングによるジョブリストの一覧

Question

100のクエリを並列に実行する必要がありますが、十分なリソースがないため、20のサブリストを持つリストを作成しました。各サブリストには5つのプロセスが含まれています。

ここでは、ジョブリストを連続して実行したいと考えています。 私はより多くを説明します。最初の5つのクエリが終了したときに、第2次5は、発売されるなど...

Iやったこの：

jobs_list = [] 
for sublist in list_all: 
    jobs = [] 
    for cd in sublist: 
     process = multiprocessing.Process(target=calc_zio, args=(cd,)) 
     jobs.append(process) 
    jobs_list.append(jobs) 

for l in jobs_list: 
    for j in l: 
     j.start() 

for l in jobs_list: 
    for j in l: 
     j.join() 

しかし、私はCPU

の100％で走っていました

どこが間違っていたのですか？

ありがとうございました！

Answer 1

あなたは次のサブセクションを開始する前にサブリストに参加する必要があります。