2016-12-19 4 views
1

Scrapyは、60秒ごとに1回、クロールされたページ数、クロール速度などの統計情報を記録しています。これらの間隔を変更する方法はありますか?Scrapy - ログ記録の間隔を変更する

2016-12-19 15:09:01 [scrapy] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min) 
2016-12-19 15:10:01 [scrapy] INFO: Crawled 82 pages (at 82 pages/min), scraped 28290 items (at 28290 items/min) 
2016-12-19 15:11:01 [scrapy] INFO: Crawled 167 pages (at 85 pages/min), scraped 57615 items (at 29325 items/min) 

答えて

2

60デフォルト(秒)(文書化されていない?)LOGSTATS_INTERVALと呼ばれる設定があります。 settings.pyで希望する間隔(秒)を変更することができます。例えば。

LOGSTATS_INTERVAL = 5 * 60.0 # log stats every 5 minutes 
関連する問題