個々のcUrlチャンクをどのように読んでいますか？

Question

URLからダウンロードして、個々のチャンクをサーバーから戻ってきて分析用に別のファイルに保存する方法はありますか？

私は、サーバーがJSON出力の終わりが、我々は、我々はそれが何で停止し、端末にカールするとき

「いいえ、それはありません」と言っているから回答を得ている会社を細断されたと思うとき、私は問題があります私はチャンクだと思うし、打つ入力はより多くのデータを返します、それは間違いなくチャンクですか？

それ以外の場合は、各チャンクをファイルに保存するスクリプトを探したいと思います。

Answer 1

：

#!/usr/bin/env python 
import sys 
from contextlib import closing as C 

import pycurl 

class Writer: 
    def __init__(self, file): 
     self.file = file 

    def write(self, data): 
     sys.stderr.write(data) 
     self.file.write(data) 

    def close(self): 
     self.file.close() 

url = 'http://stackoverflow.com/questions/8909710/' 
with C(pycurl.Curl()) as c, C(Writer(open('output','wb'))) as w: 
    c.setopt(c.URL, url) 
    c.setopt(c.WRITEFUNCTION, w.write) 
    c.setopt(c.FOLLOWLOCATION, True) 
    c.perform() 
    print >>sys.stderr, c.getinfo(c.HTTP_CODE), c.getinfo(c.EFFECTIVE_URL) 

Answer 2

私はあなたが望むように（私はそれがBSDソケットAPIを使って可能であるとは思わない）カールをする方法を知らないが、私はあなたの問題をデバッグするのに役立つと思う。

私が望むと思うのは、Wiresharkのようなパケットスニファであり、パケットの内容を検査し、「ワイヤ上で」何が起こるかを正確に見ることができます。 docs for pycurl.Curl() objectからの例に基づいて