1つのファイルのいくつかの部分をPythonと同時にダウンロードしますか？

Question

urllibを使用してファイルをダウンロードする方法を知っています。しかし、サーバが許せば、同じファイルのいくつかの部分を同時にダウンロードしてからマージする方がはるかに高速です。

これはPythonでどうやってやっていますか？標準のlibで簡単に行うことができない場合は、あなたがそれを行うことができるlib？

Answer 1

PycURLでも可能です。 PycURLはlibcurlへのPythonインターフェイスです。 urllib Pythonモジュールと同様に、PythonプログラムからURLで識別されるオブジェクトを取得するために使用できます。 PycURLは成熟した、非常に速く、多くの機能をサポートします。

Answer 2

私はGregoryが既存のライブラリを使用する提案に同意しますが、Range HTTPヘッダーを使用してこれを行うことができます。サーバーがバイト範囲の要求を受け入れる場合、複数のスレッドを開始して、ファイルの複数の部分を並行してダウンロードすることができます。あなたは、リモートリソースのサイズを決定し、サーバーがサポートするHEADリクエストを送信することにより、要求の範囲であったかどうかを確認することができます

import urllib2 
url = 'http://example.com/test.zip' 
req = urllib2.Request(url, headers={'Range':'bytes=0-65535'}) 
data = urllib2.urlopen(req).read() 

：このスニペットは、例えば、唯一の指定されたファイルのバイト0 65535をダウンロードします

import urllib2 

class HeadRequest(urllib2.Request): 
    def get_method(self): 
     return "HEAD" 

url = 'http://sstatic.net/stackoverflow/img/sprites.png' 
req = HeadRequest(url) 
response = urllib2.urlopen(req) 
response.close() 
print respose.headers 

上記プリント：我々はファイルサイズが16542バイト（'Content-Length'）で、サーバがバイト範囲をサポートしていることを見ることができるから、

Cache-Control: max-age=604800 
Content-Length: 16542 
Content-Type: image/png 
Last-Modified: Thu, 10 Mar 2011 06:13:43 GMT 
Accept-Ranges: bytes 
ETag: "c434b24eeadecb1:0" 
Date: Mon, 14 Mar 2011 16:08:02 GMT 
Connection: close 

（'Accept-Ranges: bytes'）。