PythonのRequestsライブラリスレッドのセッションオブジェクトは安全ですか？

Question

Pythonの普及しているRequestsライブラリは、ホームページ上でスレッドセーフであると言われていますが、詳細は記載されていません。私はrequests.session()を呼び出すと、私はその後、無事にそのような複数のスレッドにこのオブジェクトを渡すことができます。

session = requests.session() 
for i in xrange(thread_count): 
    threading.Thread(
     target=target, 
     args=(session,), 
     kwargs={} 
    ) 

、複数のスレッドで同じ接続プールを使用して要求をしますか？

もしそうなら、これは推奨された方法ですか、それとも各スレッドに独自の接続プールを与えるべきですか？ （すべての個々の接続プールの合計サイズを、上記のような1つの大きな接続プールのサイズに合計したと仮定します）。各アプローチの長所と短所は何ですか？

Answer 1

requests.sessionのソースを確認した後、使用されているCookieJarの実装に応じて、セッションオブジェクトがスレッドセーフである可能性があります。

Session.prepare_requestがself.cookiesから読み出し、Session.sendはextract_cookies_to_jar(self.cookies, ...)を呼び出し、それがjar.extract_cookies(...)（jarこの場合self.cookiesある）を呼び出します。

Python 2.7's cookielibのソースは、jarを更新している間にロック（threading.RLock）を取得するため、スレッドセーフであるようです。一方、documentation for cookielibにはスレッドセーフについては何も言われていないので、この機能に依存してはいけませんか？

UPDATE

あなたのスレッドがなど、などheaders、proxies、streamなどのセッションオブジェクトのすべての属性を変異またはmountメソッドを呼び出すか、with文でセッションを使用している場合は、そうではありませんスレッドセーフです。

Answer 2

https://github.com/kennethreitz/requests/issues/1871は、セッションがスレッドセーフではないこと、少なくとも1人のメンテナーがスレッドごとに1つのセッションを推奨していることを意味します。

ドキュメントを明確にするためにhttps://github.com/kennethreitz/requests/issues/2766を開いたところです。