0
分散スパイダーを使用して作成しましたscrapy-redis.
最初はすべてがうまく見えました。scrapy-redisは、既に1つのマシンがクロールしているURLを再クロールします。
設定ファイル:
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.SpiderPriorityQueue'
はしかし、すべてのURLをクロールした後、1匹のクモは閉じますが、他はそうしなかった - と、すでにクロールされた再クロールしたURLに始まりました。
誰でも私を助けて、理由を説明できますか?
ビダルさん、私たちに[MCVE]を見せたら、助けてくれるかもしれません。 – boardrider