Scrapはどのような状況下で「Connection was cleanly」エラーを投げますか？

サイトにクローラーを実行している、私は次のエラーメッセージを何回多数取得していますが：異なるサイトにクローラーを実行するときに、私はこのエラーを取得しないScrapはどのような状況下で「Connection was cleanly」エラーを投げますか？

<twisted.python.failure.Failure twisted.internet.error.ConnectionDone: Connection was closed cleanly.>

、それはだページを私はブラウザかcurlでアクセスできます。したがって、どのような状況でこのエラーが発生する可能性がありますか？明確にするために

、完全なエラーはの線に沿って何かである：

2016-11-17 20:59:38 [scrapy] ERROR: Error downloading <GET http://www.peets.com/gifts/featured-gifts/holiday-gifts/sheng-puer-tea-50.html>: [<twisted.python.failure.Failure twisted.internet.error.ConnectionDone: Connection was closed cleanly.>]

同様のエラーが発生し、多くの異なるURLがあり、私は複数のそれを実行した場合も同様に、それは常には失敗しません回。だから私はどのようなConnectionDone: Connection was closed cleanlyの問題が何を意味するかを明確にする必要があります。

出典

2016-11-17 Nathaniel Ford

HTTPレスポンスは述べていますか？ – Marcs

ScrapyがHTTPレスポンスを報告していない：「エラー：ダウンロード中にエラーが発生しました。」:(上記のエラー）。 –

Windowsを使用している場合は、[Fiddler]（http://www.telerik.com/fiddler）を使用して何が起きているのかを確認します。 – Marcs

今日、私は同じerror.Iを満たすためには、それらのウェブサイトは、私は、エラーを解決settings.pyに

USER_AGENT = 'Mozilla/5.0 (Windows NT 5.1; rv:5.0) Gecko/20100101 Firefox/5.0'

を追加するクローラ防止を持っていると思います。

出典

2017-05-17 07:53:11 theqwang

Scrapはどのような状況下で「Connection was cleanly」エラーを投げますか？

答えて

関連する問題