倍以上のマルチプロセッシング？

Question

年>月>日（ここで、日は実際に操作しているファイル）のフォルダ階層内にあるいくつかのファイルを処理しています。

今私はそう一度に8つのファイルをやって、日レベルで並列化していますが、数ヶ月、さらには数年にわたり、あまりにもいくつかの外側の並列化を行うことが可能である場合、私は思ったんだけど？私は、並列化がどのように機能するかについて多くを知らない

pool = Pool() 
pool.starmap(convertDays, files) 

、convertMonths関数内で次に

pool = Pool() 
pool.starmap(convertMonths, months) 

、convertYears関数内で次に

pool = Pool() 
pool.starmap(convertYears, years) 

：私のような何かを行うことができますそれが私がここで尋ねる理由です。

Answer 1

はい、可能ですが、デフォルトでPoolは使用可能なプロセッサの最大数を使用します。つまり、一度に実行できるタスクの最大数を意味します。彼らはconvertMonthsを開始し、それらの意志のそれぞれは、512の総計になりました（8を開くとき、それはあなたが可能な8つのプロセッサを持っている場合convertYearsが一度に8を開くことを意味し、それらのそれぞれは、（現在64の合計）8を開きますプロセス）、それらのすべてには新しいプロセスの作成にかかる時間とメモリのオーバーヘッドが伴いますが、いずれにしても8つしか実行されません。 Pool(2)を使用して各レベルを制限しても、開始した場所と同じ8つのプロセスが同時に終了します。

かいつまんで、プログラムは同じように速くなり、あなただけの1つのレベルで並列化に固執する場合は、あなたのCPUはあなたを嫌いではありません。