python-multiprocessing

1熱

1答えて

Jupiter Notebook上のPythonでマルチプロセッシングタスクの後にRAMを解放する方法はありますか？

私はjupyterノートブックでpythonでマルチプロセッシングを使用しています。私は労働者のプールを使用してコードを並列化することができます。私はメモリの割り当て解除の問題に直面しています。 import multiprocessing def forSources(n): temp_pairings = [] temp_pairings += dfs_edges2(d

0熱

1答えて

マルチプロセスとプロセスをconcurrent.future._base.Futureで統合する

私は子プロセスを作成し、Futureを使用して結果を受け取って、必要なときにそれらの一部を強制終了するという要件があります。私はこれをサブクラス化し、multiprocessing.Processクラスを作成し、start（）メソッドからFutureオブジェクトを返します。問題は、決して呼び出されないので、私はcb（）関数で結果を受け取ることができないということです。私の現在の実装ではこれが

0熱

1答えて

遅れているクラインのアプリ

私はクラインとデファーを探しています。次の例では、子プロセスを使用して数値をインクリメントし、Future経由で返すようにしています。私は未来のコールバックを受け取ることができます。遅延オブジェクトはcb（）関数を呼び出すことはなく、エンドポイントへの要求は返されないという問題があります。問題を特定するのを手伝ってください。続きは、プロセスP1を開始する前にコールバックを追加Process4.

1熱

1答えて

python manager.dict（）のロックの仕組み：

managers.dict()managers.dict()は、プロセス全体で辞書を共有し、スレッドセーフな操作を実行できます。私の場合、コーディネーター・プロセスはそれぞれ、m要素とnワーカー・プロセス（単一のdictキーとの間で読み書き）の共有ディクティクトを作成します。 managers.dict()には、dictのロックが1つ、またはmのロックが1つあります。 mの要素を、共有ディクテー

2熱

1答えて

2つのスレッドを同時に実行するには？

from threading import Thread import time class ThreadTest(): def loop1(self): for i in range(0, 100, 5): print(i) time.sleep(2) def loop2(self): for i in range(

0熱

1答えて

与えられた条件が満たされたときに、Pythonでマルチプロセスを終了するには？

のは、私が機能を持っているとしましょう： def f(): while True: x = generate_something() if x == condition: return x if __name__ == '__main__': p=Pool(4) 私はマルチプロセスでこの機能を実行すると、プロセスの一つは、私の関

1熱

2答えて

マルチプロセッシングを使ってPythonで複数の非同期プロセスを実行するには？

マルチプロセッシングを使用して、複数のバックグラウンド非同期関数を実行する必要があります。私はPopenのソリューションを働いているが、それは少し不自然に見えます。例：関数は1対1、無非同期に実行 def worker_email(keyword): print('Before:' + keyword) sleep(10) print('After:' + keywo

18熱

3答えて

Pythonロギングはマルチプロセッシングをサポートしていますか？

マルチプロセッシングでロギングを使用できないと言われました。マルチプロセッシングがログを混乱させる場合に備えて、並行性制御を行う必要があります。ログを使用しても問題はあなたがコードから見ることができるように import time import logging from multiprocessing import Process, current_process, pool # set

1熱

1答えて

Docker内のマルチプロセッシングPythonプログラム

ドッカーコンテナ内のPythonのマルチプロセッシングをテストしようとしていますが、プロセスが正常に作成されている（私は8つのCPUと8つのプロセスがあります）は、ここに私のコードです： from sklearn.externals.joblib.parallel import Parallel, delayed import multiprocessing import pandas i

0熱

1答えて

netCDF4ファイルにパラレル保存するPythonマルチプロセッシング

私は状態ベクトルのスナップショットを保存し、異なるパラメータに対して計算を実行するシミュレーションを行っています。私はスキャンするための2つの制御パラメータを持っています（この例ではpとa）。したがって、2つの次元が2つの制御パラメータ用である1つのnetCDF4ファイルのシミュレーション結果を保存します。 1つのパラメータセットのシミュレーションを実行すると、ファイルは正しく保存されますが、ap