Scrapy：HttpProxyMiddlewareを書くには？

Question

Scrapyのドキュメントを約HttpProxyMiddlewareはこのようなものですと言う：

このミドルウェアはRequestオブジェクトに対してproxyメタ値を設定することにより、要求に使用するHTTP proxyを設定します。 Pythonの標準ライブラリモジュールurllibとurllib2同様

が、それは以下の環境変数に従う：

http_proxy 
https_proxy 
no_proxy 

あなたはまた、http://some_proxy_server:portまたはhttp://username:password@some_proxy_server:portのような値に、要求ごとのメタキープロキシを設定することができます。この値は、環境変数http_proxy/https_proxyよりも優先され、また、環境変数no_proxyも無視されることに注意してください。

ドキュメント：https://doc.scrapy.org/en/latest/topics/downloader-middleware.html?highlight=Proxy#module-scrapy.downloadermiddlewares.httpproxy

しかしドキュメントには例がありません。
私はHttpProxyMiddlewareを書く方法がありません。
提案はありますか？

Answer 1

だけでこれを行います。

DOWNLOADER_MIDDLEWARES = { 
    'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 100 
} 

そしてyieldは、各要求をINGの間、これだけです。この

yield Request(meta={'proxy': "http://%s"%(random.choice(["IP:PORT", "IP:PORT"]))}) 

を行います！

Answer 2

あなたはそれを書く必要はありません。 HttpProxyMiddlewareはすでにScrapyに存在します。

1. することが、環境変数の設定 （例えば、コマンドラインから）

   export http_proxy="http://username:password@host:port" 
   

：

ドキュメントの状態として、Scrapyはプロキシを通過するためにあなたの要求を必要と知らせるの2つの方法があります

2. 「プロキシ」のリクエストごとにhttp://some_proxy_server:portまたはhttp://username:password@some_proxy_server:portのような値を設定することもできます。この値はhttp_proxyに/HTTPS_PROXY環境変数よりも優先されます、そして、それはまた無視されます覚えておいてください

   no_proxyを環境変数

   例えばsettings.pyで

   yield Request("http://google.com", meta={'proxy':'http://username:password@some_proxy_server:port'}, callback=self.some_method)