スパイダーリンクを辿っていない - 治療

Question

私は3ページに続くスパイダーを構築しようとしています。私はシェルの応答をテストしましたが、一緒に動作していないように見えますが、私はなぜそれがわかりません。

以下の私のコード：

# -*- coding: utf-8 -*- 
import scrapy 


class CollegiateSpider(scrapy.Spider): 
    name = 'Collegiate' 
    allowed_domains = ['collegiate-ac.com/uk-student-accommodation'] 
    start_urls = ['http://collegiate-ac.com/uk-student-accommodation/'] 

    # Step 1 - Get the area links 

    def parse(self, response): 
     for city in response.xpath('//*[@id="top"]/div[1]/div/div[1]/div/ul/li/a/text').extract(): 
      yield scrapy.Request(response.urljoin("/" + city), callback = self.parse_area_page) 

    # Step 2 - Get the block links 

    def parse_area_page(self, response): 
     for url in response.xpath('//div[3]/div/div/div/a/@href').extract(): 
      yield scrapy.Request(response.urljoin(url), callback=self.parse_unitpage) 

    # Step 3 Get the room links 

    def parse_unitpage(self, response): 
     for url in response.xpath('//*[@id="subnav"]/div/div[2]/ul/li[5]/a/@href').extract(): 
      yield scrapy.Request(response.urljoin(final), callback=self.parse_final) 

    # Step 4 - Scrape the data 

    def parse_final(self, response): 
     pass 

私はthis answerあたりとしてCrawlspiderに変更しようとしたが、それは助けていないようでした。

私は現在、クモのデバッグ方法を検討していますが、それに苦しんで、ここでも意見を得ることは有益だろうと考えました。

Answer 1

あなたは、私がURLを取得するために@hrefを使用'//*[@id="top"]/div[1]/div/div[1]/div/ul/li/a/text()'

しかし、その代わりのtext()にtext()で()を忘れてしまいました。 /は/uk-student-accommodationをスキップするためurljoin('/' + city)に参加

が間違ったURLを作成します - あなたは、urljoin(city)

を使用する必要がallowed_domainsに問題があった - それは、URLのほとんどを遮断しました。

---

実例。多分 `関数で実行されていない1を参照するために`プリントを（）を使用するプロジェクトなしでそれを実行することができ、それが

import scrapy 


class CollegiateSpider(scrapy.Spider): 

    name = 'Collegiate' 

    allowed_domains = ['collegiate-ac.com'] 

    start_urls = ['https://collegiate-ac.com/uk-student-accommodation/'] 

    # Step 1 - Get the area links 

    def parse(self, response): 
     for url in response.xpath('//*[@id="top"]/div[1]/div/div[1]/div/ul/li/a/@href').extract(): 
      url = response.urljoin(url) 
      #print('>>>', url) 
      yield scrapy.Request(url, callback=self.parse_area_page) 

    # Step 2 - Get the block links 

    def parse_area_page(self, response): 
     for url in response.xpath('//div[3]/div/div/div/a/@href').extract(): 
      url = response.urljoin(url) 
      yield scrapy.Request(response.urljoin(url), callback=self.parse_unitpage) 

    # Step 3 Get the room links 

    def parse_unitpage(self, response): 
     for url in response.xpath('//*[@id="subnav"]/div/div[2]/ul/li[5]/a/@href').extract(): 
      url = response.urljoin(url) 
      yield scrapy.Request(url, callback=self.parse_final) 

    # Step 4 - Scrape the data 

    def parse_final(self, response): 
     # show some information for test 
     print('>>> parse_final:', response.url) 
     # send url as item so it can save it in file 
     yield {'final_url': response.url} 

# --- run it without project --- 

import scrapy.crawler 

c = scrapy.crawler.CrawlerProcess({ 
    "FEED_FORMAT": 'csv', 
    "FEED_URI": 'output.csv' 
}) 
c.crawl(CollegiateSpider) 
c.start()