proxylist cantをScrapy Cloudにロードする

Question

モジュールimは "https://github.com/aivarsk/scrapy-proxies"を指定されたとおりに使用し、PC上の既存のtxtタイルへのリンクであれば完全に動作します。

settings.pyファイルのScrapy Cloudで数回試してみます。

私は私は名前に置き換えiが「https://dl.dropboxusercontent.com/s/esdm19mnvz2yguf/proxylist.txt」

それをアップロードするだけでなく、プロジェクトよりも、設定よりも、同じフォルダ内のファイル「proxylist.txt」を追加します。 PROXY_LIST =「https://dl.dropboxusercontent.com/s/esdm19mnvz2yguf/proxylist.txt」 か PROXY_LIST = 'proxylist.txt' または PROXY_LIST = '/proxylist.txt' PROXY_LIST = '../proxylist.txt'

私は自分のPCでPROXY_LIST = 'proxylist.txt' のようにそれを行う場合には、それは魅力のように動作しますが、一度私はScrapy Cloudでロードしません。

エラーが発生します。

Traceback (most recent call last): File "/usr/local/lib/python2.7/site-packages/twisted/internet/defer.py", line 1299, in _inlineCallbacks result = g.send(result) File "/usr/local/lib/python2.7/site-packages/scrapy/crawler.py", line 90, in crawl six.reraise(*exc_info) File "/usr/local/lib/python2.7/site-packages/scrapy/crawler.py", line 72, in crawl self.engine = self._create_engine() File "/usr/local/lib/python2.7/site-packages/scrapy/crawler.py", line 97, in _create_engine return ExecutionEngine(self, lambda _: self.stop()) File "/usr/local/lib/python2.7/site-packages/scrapy/core/engine.py", line 69, in init self.downloader = downloader_cls(crawler) File "/usr/local/lib/python2.7/site-packages/scrapy/core/downloader/init.py", line 88, in init self.middleware = DownloaderMiddlewareManager.from_crawler(crawler) File "/usr/local/lib/python2.7/site-packages/scrapy/middleware.py", line 58, in from_crawler return cls.from_settings(crawler.settings, crawler) File "/usr/local/lib/python2.7/site-packages/scrapy/middleware.py", line 36, in from_settings mw = mwcls.from_crawler(crawler) File "/app/python/lib/python2.7/site-packages/scrapy_proxies/randomproxy.py", line 55, in from_crawler return cls(crawler.settings) File "/app/python/lib/python2.7/site-packages/scrapy_proxies/randomproxy.py", line 35, in init fin = open(self.proxy_list) IOError: [Errno 2] No such file or directory: '../proxylist.txt'

は、私はいくつかの助けを必要としてください。

Answer 1

このファイルは、setup.pyの指示には含まれていない可能性があります。

これを提供するメカニズムはMANIFEST.inファイルです。これは、比較的非常に簡単です：これらのファイルは、サイトのパッケージ内でのパッケージのフォルダにインストール時にコピーされるためMANIFEST.inがために本当に：

include README.rst 
include docs/*.txt 
include funniest/data.json 

を含めるファイルまたはグロブを指定して、相対ファイルパスのリストだけですsetup()機能にinclude_package_data=Trueを提供する必要があります。

http://python-packaging.readthedocs.io/en/latest/non-code-files.html