次のページの代わりに元のページに戻って参照する治療

Question

「次のページ」のリンクに従うためにscapryを使用する際に問題があります。

import scrapy 

class QuotesSpider(scrapy.Spider): 
name = "quotes2" 
start_urls = [ 
     'http://search.jeffersondeeds.com/pdetail.php?instnum=2016230701&year=2016&db=0&cnum=20', 
] 

def parse(self, response): 
    for quote in response.xpath('//div'): 
     yield{ 
      'record' : quote.select(".//span/text()").extract() 
     } 

    next_page = response.xpath('//*[@id="nextpage"]/a/@href').extract() 

    if next_page is not None: 
     print("GOOOO BUCKS!!") 
     next_page = response.urljoin(next_page) 
     yield scrapy.Request(next_page, callback=self.parse) 
    else: 
     print("Ahhh fooey!") 

xpathが正しいように見えます：

しかしにnext_pageとして捕獲されるのURLが元のURL（starts_urls）である

Answer 1

にnext_page ISN」ここでは、コードですtはありませんが、空のリストです。

今、あなたがそれを得ることができる'//table//script/text()'

内部でJavaScriptを使用して生成されnextpageリンク：response.xpath('//table//script/text()').re_first("href=\\'(pdetail.*)\\'>")