マルチプロセス。プールメモリ割り当てエラー

Question

共有ホスティングでマルチプロセッシングプールを使用しているスクリプトを実行しています。私は、次のエラーを取得しています：

with closing(Pool(processes=50)) as pool: 
csv_items = pool.map(get_stuff, list_ids) 
pool.terminate() 
pool.join() 

Answer 1

[OK]を、あなたはあなたのプールで使用される50個の以上のプロセスを起動しようとしている。

Errno 12] Cannot allocate memory 
(<type 'exceptions.OSError'>, 

以下は私のコードです。さて、これはスレッドと同じではありません。これは、すべてのPythonモジュールとライブラリを含む50の新しいPythonプロセスを起動します。

デフォルトでは、Poolは、通常マルチプルマルチコアマシンで考えている新しいプロセスcpu_count()を起動します。現在、新しいWorkerプロセスはすべて、プールの作業キューの全期間にわたってデフォルトで有効になります。専用のVPSインスタンスを使用する場合は、私のプールに自由に作成できるWorker Processについての予防措置を講じます。あなたの場合、共有ホスティングを使用しています。この場合、メモリの制限が大きくなり、上記のエラーメッセージが表示されます。

これを使用する場合は、共有ホスティングから専用のvps /クラウドインスタンスにデプロイメントを変更します。