治療はサイト上でクロールしません

Question

私は共通のトラップを持っており、それを取り除くことはできません：私の治療スパイダーは非常に怠惰なので、それはstart_urlsだけを解析することができます。コード：

import scrapy 

from scrapy.spiders import Rule 
from scrapy.linkextractors import LinkExtractor 
from scrapy.item import Field 
from scrapy.selector import Selector 

class HabraPostSpider(scrapy.Spider): 
    name = 'habrapost' 
    allowed_domains = ['habrahabr.ru'] 
    start_urls = ['https://habrahabr.ru/interesting/'] 


    def parse(self, response): 
     self.logger.info('A response from %s just arrived!', response.url) 


    rules = (Rule(LinkExtractor()), 
      Rule(LinkExtractor(allow=('/post/'),),callback='parse_post',follow= True)) 

誰かが私のクモを修正する方法を言うことができたら、私は非常に幸せになります！

Answer 1

あなたの英語は完全に壊れていますが、私が理解しているところでは、クローラが見ているすべてのリンクに行きたいと思っています。そのために

は、あなたの代わりに Spider

class HabraPostSpider(scrapy.spiders.CrawlSpider) 

チェックthe documentationのCrawlSpiderを使用する必要があります。