複数のHTTPリクエストを同時にスレッドで使用する

Question

リクエスト時間を短縮するために同時に複数のHTTPリクエストをプリフォームすることは可能ですか？そうするためにスレッドを使用できると思っていました。もしそうなら、それは私の問題を解決する最も効率的な方法でしょう、そしてそれがそうならば、あなたはそのような解決策をどのようにPythonで行いますか？ありがとう

Answer 1

これは、マルチスレッドの使用法の最も象徴的な例です。

import threading 
import urllib2 
import time 

start = time.time() 
urls = ["http://www.google.com", "http://www.apple.com", "http://www.microsoft.com", "http://www.amazon.com", "http://www.facebook.com"] 

def fetch_url(url): 
    urlHandler = urllib2.urlopen(url) 
    html = urlHandler.read() 
    print "'%s\' fetched in %ss" % (url, (time.time() - start)) 

threads = [threading.Thread(target=fetch_url, args=(url,)) for url in urls] 
for thread in threads: 
    thread.start() 
for thread in threads: 
    thread.join() 

しかし、あなたは簡単に同時要求スタックオーバーフローに