Screw Twisted ConnectionLost error

Question

私はこの治療法を学んでおり、この問題を理解するのに苦労しています。私のクモはmacysウェブサイトをクロールしませんし、次のエラー投げ続けます：私がこれまで試した

[<twisted.python.failure.Failure twisted.internet.error.ConnectionLost: Connection to the other side was lost in a non-clean fashion: Connection lost.>] 

もの：

1. 設定ヘッダをして、このスレッドごとに従わrobotstxt： Scrapy Shell: twisted.internet.error.ConnectionLost although USER_AGENT is set
2. このスレッドごとのユーザエージェントの変更： How to prevent a twisted.internet.error.ConnectionLost error when using Scrapy?
3. 暗号このスレッドには2個： Scrapy twisted connection lost in non-clean fashion. No proxy. Already tried headers
4. モンキーパッチ： Twisted Python Failure - Scrapy Issues

私は、コマンドプロンプトにscrapyシェル "www.macys.com" をチェックし、同じエラーを取得します。だから私はこの問題が私のスパイダーではないと推測しています。誰かが助けてくれますか？

Answer 1

あなたのIPがあなたのスクレーパーを起動しているようですが、ブラックリストに載っているようです。 https://doc.scrapy.org/en/latest/topics/practices.html#avoiding-getting-banned

また、あなたはscrapyが出力するリクエストの数に関するチューニングthe settingsする場合があります：あなたは、次を読みたいかもしれません

CONCURRENT_REQUESTS、DOWNLOAD_DELAYなど