HTTPリクエストごとに1つのワーカースレッドを使用する必要があります

Question

複数のHTTPリクエストを同時に送信したいです。私はこれを行うにはPythonのmultiprocessing.dummy.Poolを使用しています。スレッドプールを作成するコードは次のとおりです。

p = Pool(len(users)) 

len(users))は単純にリクエスト数です。

ご覧のとおり、リクエストごとにスレッドを作成しています。これは悪い考えですか？代わりにlen(users))スレッドの一部を作成する必要がありますか？

Answer 1

私は個人的にmultiprocessing.cpu_count()の倍数に基づいてサイジングを提案したいと思います。これはのアプローチで、5 * multiprocessing.cpu_count()という理論ではスレッド処理が多くブロックされているので、コアより多くのスレッドを必要とします。あなたが巨大なインターネットパイプを持っているなら、より高い倍数が理にかなっているかもしれません。必要に応じてmin(len(users), 5 * multiprocess.cpu_count())に制限することができます（スレッドを飽和させるタスクがない場合にスレッドをあまりにも多く割り当てることを避ける）。

多くのシステムでかなり低い値で発生する可能性があるスレッドとオープンハンドルには制限があり、すべてを一度に処理しようとするとスレッドを使用できない場合があります10,000以上のリクエストについて話すあなたのインターネット接続がある点を越えて並列処理の恩恵を受けることができないとすれば、より多くのスレッドを持つリソースを無駄にしているだけです。