要求に使用されているIPアドレスを確認するPython/Scrapy + ProxyMesh

Question

私はScientialでProxyMeshを使い始めました。 ProxyMeshは、1つのポートにIPアドレスのプールを提供することになっています。以下のサンプルコードはループで繰り返されており、ミドルウェアは有効になっており、全体的にうまく動作します。特定の要求ごとにどのIPアドレスが使用されているか（もしあれば）

request = scrapy.Request(producturl, self.parse_product_info) 
request.meta['proxy'] = 'http://uk.proxymesh.com:xxx' 
yield request 

私はSOFで同様の投稿を見つけましたが、この特定の質問には対処しませんでした。

Answer 1

コメントで指定され、情報はそれを確認し、レスポンスヘッダに来るように：

def parse_response(self, response): 
    print response.headers 

あなたが割り当てられたプロキシとX-Proxymesh-Ipヘッダが表示されるはずです。

もう1つの方法は、さらに多くの機能（ヘッダー、セッション、Cookieの処理など）とより良いドキュメントを提供するcrawleraを使用することです。