データをダウンロードする並列化ループ

Question

私はPythonが初めてです。 Google App Engineで簡単なスクリプトを実行して、できるだけ早く多くのファイルをオブジェクトに取得したいと考えています。並列化はスマートな選択肢になりますか？あなたは、リストの内包表記を使用して、コードよりPython的にする必要がありますブレーンストーミング

import requests 

... 
theData=[] 
for q in range(0, len(theURLs)): 

    r = requests.get(theURLs[q]) 
    theData.insert(q,r.text) 

Answer 1

"普通の" Pythonでは、これはかなり簡単です。

from multiprocessing.pool import ThreadPool 
import requests 
responses = ThreadPool(10).map(requests.get, urls) 

最高の結果をもたらすスレッド数で10を置き換えます。

あなたは、URL Fetch serviceからこれらの行（未テスト）に沿って何かを非同期機能を使用することからなる産卵スレッド/プロセスと独自の非同期的なアプローチに制限がありGAEを、指定されたしかし：

rpcs = [urlfetch.create_rpc() for url in urls] 
for (rpc, url) in zip(rpcs, urls): 
    urlfetch.make_fetch_call(rpc, url) 
results = [rpc.get_result() for rpc in rpcs] 

必要になりますエラー処理を追加する必要があります...

Answer 2

を事前に感謝します：

# A list of tuples 
theData = [(q,requests.get(theURLs[q]).text) for q in range(0, len(theURLs))] 

# ... or ... 

# A list of lists 
theData = [[q,requests.get(theURLs[q]).text] for q in range(0, len(theURLs))] 

あなたが同時にthreadingライブラリを使用するファイルを検索したい場合は、このウェブサイトは、いくつかの良いを持っています私は真剣にそれを疑う

http://www.tutorialspoint.com/python/python_multithreading.htm

Answer 3

：例は、良い習慣かもしれません。パラレル化は実際に計算を高速化するだけでなく、ここでのボトルネックはデータ転送です。