Scrapy：スクレイプWebページ上の「次」の結果をここにscrapy

Question

# -*- coding: utf-8 -*- 
import scrapy 
from scrapy.http import Request 

class InfoSpider(scrapy.Spider): 

    name = 'info' 
    allowed_domains = ['womenonlyconnected.com'] 
    start_urls =['http://www.womenonlyconnected.com/socialengine/pageitems/index'] 

    def parse(self, response): 
     urls = response.xpath('//h3/a/@href').extract() 
     for url in urls: 
      absolute_url = response.urljoin(url) 
      yield Request(absolute_url , callback = self.parse_page) 



    def parse_page(self , response): 
     pass 

を使用しては、私のコードは、このコードを使用している私は、ページ PAGの「もっと見る」の後にすべてのリンクをこするに助けを必要とするだけで、最初の24個のリンクをこすりすることができますどこの最初のページのための1とN開始など

http://www.womenonlyconnected.com/socialengine/pageitems/index?page=N 

：URLはこのURLを使ってページ付けができることを調査の少しそれを見つけることができた後 http://www.womenonlyconnected.com/socialengine/pageitems/index

Answer 1

bbelow与えられ、だから私はこのようにあなたのクモを変更します：

# -*- coding: utf-8 -*- 
import scrapy 
from scrapy.http import Request 

class InfoSpider(scrapy.Spider): 

    name = 'info' 
    allowed_domains = ['womenonlyconnected.com'] 
    start_urls = ['http://www.womenonlyconnected.com/socialengine/pageitems/index'] 
    page_num = 1 

    def parse(self, response): 
     urls = response.xpath('//h3/a/@href').extract() 
     for url in urls: 
      absolute_url = response.urljoin(url) 
      yield Request(absolute_url , callback = self.parse_page) 

     if self.page_num < 100: 
      self.page_num += 1 
      yield Request(start_urls[0] + '?page={}'.format(self.page_num) , callback = self.parse) 

    def parse_page(self , response): 
     pass 

私は100ページで停止理由、それはより多くの結果がある場合、したがって、あなたは、次のページに行くべきかどうかを判断することは容易ではないということですが。理論的には、の存在を確認することができます。要素をページに表示してください。問題はそれが常に存在し、結果を含むページがなくなると隠されてしまうことです。しかし、この要素を隠すことはJavaScriptを使って行われるので、Scrapyはそれが隠れていると常に見ています。より多くのページがあるかどうかを確実に判断するには、たとえばページを使用してページをレンダリングする必要があります。 Splash。