ヘッダーを受信していないScrapy ProxyMesh

私はScrapy/ProxyMeshにはかなり新しいです。 ProxyMesh Webサイトでバンド幅が消費され、meta.proxyがログに正しく表示されているため、Proxymeshサーバーへのリクエストが機能しているようです。しかし、Scrapyでレスポンスヘッダーを記録すると、私が受け取るはずのX-Proxymesh-IPは受信されません。ここに私のコードです。私は間違って何をしていますか？ヘッダーを受信していないScrapy ProxyMesh

このこれらは私のクモの私の設定

custom_settings = { 
    "DOWNLOADER_MIDDLEWARES": { 
     "projectName.middlewares.proxymesh.Proxymesh" : 1, 
    }

ある

class Proxymesh(object): 

def __init__(self): 

    logging.debug('Initialized Proxymesh middleware') 

    self.proxy_ip = 'http://host:port' 

def process_request(self, request, spider): 

    logging.debug('Processing request through proxy IP: ' + self.proxy_ip) 

    request.meta['proxy'] = self.proxy_ip

私のミドルウェアであるこれは、応答ヘッダが

['Set-Cookie']:['__cfduid=d88d4e4cb7... HttpOnly'] 
['Vary']:['User-Agent,Accept-Encoding'] 
['Server']:['cloudflare-nginx'] 
['Date']:['Thu, 19 Oct 2017 10...38:10 GMT'] 
['Cf-Ray']:['3b031b30cbef1565-CDG'] 
['Content-Type']:['text/html; charset=UTF-8']

どのように見えるかであるあなたの助けをありがとう

出典

2017-10-19 xavierds

あなたもこれをする必要がありますか？

DOWNLOADER_MIDDLEWARES = { 
    'scrapy.contrib.downloadermiddleware.httpproxy.HttpProxyMiddleware': 1, 
}

そしてまたあなたのコールバック関数で

は、あなたが何も変わりませんHTTPPROXYミドルウェアを追加することねえ@Umair

出典

2017-10-19 11:03:02 Umair

response.headersを印刷していることを確認しています。また、レスポンスヘッダは私のクモのコールバックに表示されます。これらのX-Proxymesh-IPヘッダーにアクセスする別の方法はありますか？ – xavierds

私は数ヶ月前にproxymeshを使用しています...それはうまく動作するはずです...あなたの完全なコードを共有できますか？ – Umair

また、プロキシが動作しているかどうかを確認してください。どのIPが戻ってくるかを調べるためにウェブサイトのIPをかき集めてください – Umair

ヘッダーを受信して​​いないScrapy ProxyMesh

答えて

関連する問題

ヘッダーを受信していないScrapy ProxyMesh