Scrapyでproxymeshを設定するには？

Question

私はproxymeshで使い始めたいScrapyコードをいくつか持っています。 proxymesh documentationがひそか言う：フレームワークをクロールscrapyするため

を、あなたはactivate HttpProxyMiddlewareし、[...] HTTP_PROXY 環境変数を設定する必要があります。

私はhttp_proxy環境変数を設定する方法を理解していますが、「HttpProxyMiddlewareをアクティブにする」方法はドキュメントからはっきりと分かりません。

DOWNLOADER_MIDDLEWARES = { 
    'myproject.middleware.ProxyMeshMiddleware': 100, 
} 

しかし、その後、私はまた、おそらくmiddleware.pyファイルに、いくつかの実際のミドルウェア・コードを追加する必要が推測：私はは私Scrapyプロジェクトにsettings.pyに以下を追加する必要があると思う？

私が見つけたのはthis gistなので、それをコピーしてmiddleware.pyに貼り付けてもよいと思いますが、正確かどうかは分かりません。 proxymeshのドキュメントで推奨されているものとは異なる環境変数を使用しているようです。

Answer 1

OS環境変数からProxyMesh設定を読み込むことを指しているGistです。それ以外の場合、基本的なScrapy HttpProxyミドルウェアのコードが少し変更されています。

プロキシメッシュミドルウェアhttps://github.com/mizhgun/scrapy-proxymesh（プロキシメッシュプランが複数のエンドポイントの場合）とカスタマイズ可能なタイムアウトをサポートする、非常に簡単な実装を見ることもできます。