Python：Joblibの並列処理によりコード実行が遅くなる

Question

forループを高速化するための並列処理を統合したい。

ただし、私のコードが遅く実行されたことに気付きました。私がjoblibを単純な関数で乱数のリストに使用している以下の例を参照してください。 はなしで、並列処理はより速く実行され、となります。

何が起こっているかについての洞察はありますか？

def f(x): 
    return x**x 

if __name__ == '__main__': 
    s = [random.randint(0, 100) for _ in range(0, 10000)] 


    # without parallel processing 
    t0 = time.time() 
    out1 = [f(x) for x in s] 
    t1 = time.time() 
    print("without parallel processing: ", t1 - t0) 

    # with parallel processing 
    t0 = time.time() 
    out2 = Parallel(n_jobs=8, batch_size=len(s), backend="threading")(delayed(f)(x) for x in s) 
    t1 = time.time() 
    print("with parallel processing: ", t1 - t0) 

私は次の出力を取得しています：

without parallel processing: 0.0070569515228271484 
with parallel processing:  0.10714387893676758 

Answer 1

パラメータbatch_size=len(s)を効果的に各プロセスにSジョブのバッチを与えると言います。つまり、8つのスレッドを作成した後、すべてのワークロードを1つのスレッドにすることを意味します。

また、測定可能な利点を得るために作業負荷を増やすこともできます。私はtime.sleep遅延を使用することを好む：並列処理なし

def f(x): 
    time.sleep(0.001) 
    return x**x 

out2 = Parallel(n_jobs=8, 
       #batch_size=len(s), 
       backend="threading")(delayed(f)(x) for x in s) 

：並列処理と11.562264442443848

：1.412865400314331