マルチプロセッシンググローバル変数メモリコピー

Question

私は20GBのデータを最初にメモリにロードするプログラムを実行しています。次に、N（> 1000）個の独立したタスクを行い、それぞれが20 GBのデータの一部を使用する（読み取り専用）ようにします。私は現在、マルチプロセッシングを介してこれらのタスクを実行しようとしています。しかし、this answerのように、グローバル変数全体がプロセスごとにコピーされます。私の場合、メモリは96GBしかないので、4つ以上のタスクを実行するのに十分なメモリがありません。この種の問題に対する解決策があるかどうか疑問に思うので、あまりにも多くのメモリを消費することなく、すべてのコアを完全に使用することができます。

Answer 1

linuxでは、フォークされたプロセスには、親アドレス空間のコピーライト時のビューがあります。フォークは軽量であり、同じプログラムが親と子の両方で実行されますが、子が異なる実行パスを取る点が異なります。小さなexmample、マルチプロセッシングにこれを適用する

parent: 22642 unchanged 
child: 22643 unchanged 
22643 changed 
22642 unchanged 

で

import os 
var = "unchanged" 
pid = os.fork() 
if pid: 
    print('parent:', os.getpid(), var) 
    os.waitpid(pid, 0) 
else: 
    print('child:', os.getpid(), var) 
    var = "changed" 

# show parent and child views 
print(os.getpid(), var) 

結果として、この例では、私はグローバル変数にデータをロードします。 Pythonはプロセスプールに送られたデータをpickleするので、私はそれをインデックスのような小さなものにして、グローバルデータ自体を取得させるようにします。

import multiprocessing as mp 
import os 

my_big_data = "well, bigger than this" 

def worker(index): 
    """get char in big data""" 
    return my_big_data[index] 

if __name__ == "__main__": 
    pool = mp.Pool(os.cpu_count()) 
    for c in pool.imap_unordered(worker, range(len(my_big_data)), chunksize=1): 
     print(c) 

Windowsにはプログラムを実行するためのfork-and-execモデルがありません。 Pythonインタプリタの新しいインスタンスを開始し、関連するすべてのデータを子にクローンする必要があります。これは重いリフトです！