python-multiprocessing

0熱

1答えて

私は特定のUDP要求に応答して潜在的に大きなファイルをコピーするアプリケーションを開発しています。私はこれらの要求を聞いて処理するためにpyuvを使用しています。これらのコピー操作を完了するために別のプロセスを作成したいので、私のメインループは保持されません。現在、私はPythonのmultiprocessingとpyuvライブラリを以下の方法で使用しています。 self.perform_act

1熱

1答えて

2つのループを並列化しているときに値を取得できません

リスト 'tests1'と 'tests2'にデータを追加する次のスニペットを実行しようとしています。しかし、 'tests1'と 'tests2'を印刷すると、表示されるリストは空になります。何かここで間違っている？ tests1 = [] tests2 = [] def func1(): for i in range(25,26): tests1.append(te

0熱

3答えて

Pythonマルチプロセッシング：プールサイズを大きくした後の壊れたパイプ例外

例外があります。すべての私は、プール・カウントにコード def parse(url): r = request.get(url) POOL_COUNT = 75 with Pool(POOL_COUNT) as p: result = p.map(parse, links) File "/usr/lib64/python3.5/multiprocessing/po

0熱

1答えて

Python 3 asyncio：ProcessPoolExecutorジョブが完了するのを待つときにrun_until_complete（）ブロックが発生する

ProcessPoolExecutor（）を使用してオートメーションをテストするためにTCP echo client and serverを1つのモジュールに結合しようとしています。唯一の問題は、私はイベントループを終了することはできませんです。私はエグゼキュータのターゲットrun_client（）の最後の行のデバッグ出力を見ることができますが、エグゼキュータ自体がまだブロックしているように見え

0熱

1答えて

Python：特定の条件が満たされた場合、プロセスを強制終了またはスリープする方法はありますか？

私は無限ループで動作し続けるスクレーパーを構築しました。また、10台以上のAWSマシンでプロキシプールを使用しています。単一のIPがX回ヒットしたときに再びヒットしないようにしたいと思っています。これまでのところ、私は目的のためにMySQLを使用しています。問題は、すべての代理店がクォータを終了したらどうすればそれを眠らせるか、遅らせ、新しい日に新しい人生を得ることができるかということです。今、私

0熱

1答えて

Python - ImportError：[module]のローダーが__mp_main__を処理できません

私はウェブ上で検索しましたが、同じ問題が発生している人は見つかりませんでした。私は、バックエンド用のフラスコを使用するファイルリプリケータを作成しています。レプリケータは、アップロードされたファイルを取り込み、エクスポートする前にファイル内のデータの一部をマスクします。これは、ユーザー指定の金額に対して実行されます。レプリケーションの速度を上げるために、Pythonのマルチプロセッシングライブラ

2熱

1答えて

の管理は、レート制限するAPIをフラスコアプリケーションから呼び出す

私はいくつかの内のAPIへのよりX要求をすることはできません（とりわけ）、レート制限されたAPI（すなわちと対話しなければならないフラスコのアプリケーションを持っています与えられた時間単位）。しかし、FlaskアプリケーションのAPIに対する要求は不均一であり、時にはAPIが許す範囲をはるかに超えて要求することがあり、時には数分または数時間の要求が一度にないことがあります。 APIへの呼び出しが非

1熱

1答えて

Pythonでプールを使用しているときにkarmsをstarmapに渡します。

私は、引数を渡すためにstarmapを使ってプールにマルチスレッドを使用しています。私はstarmap関数で渡しているzipの配列と一緒にkwargsを渡す方法を見つけることができないので、私は立ち往生しています。私はまだ、キーワード引数を渡す方法を見つけ出すことができないんだけどとして pool = Pool(NO_OF_PROCESSES) branches = pool.starmap(

7熱

1答えて

Pythonマルチプロセッシングエラー：AttributeError：module '__main__'に属性 '__spec__'がありません

私はPython 3.6を使用しており、以下のウェブサイト（以下のフルコードも参照）の最初の例に従います。以下のエラー： https://docs.python.org/3.6/library/multiprocessing.html エラーメッセージ： AttributeError: module '__main__' has no attribute '__spec__' 完全なサンプルコード