どのように私はScrapyの次のページにジャンプすることができます

Question

私はhereからの結果をスクラピーで削り取ろうとしています。問題は、「結果をもっと読み込む」タブがクリックされるまで、すべてのクラスがページに表示されないことです。

問題はここで見ることができます：

私のコードは次のようになります。

class ClassCentralSpider(CrawlSpider): 
    name = "class_central" 
    allowed_domains = ["www.class-central.com"] 
    start_urls = (
     'https://www.class-central.com/courses/recentlyAdded', 
    ) 
    rules = (
     Rule(
      LinkExtractor(
       # allow=("index\d00\.html",), 
       restrict_xpaths=('//div[@id="show-more-courses"]',) 
      ), 
      callback='parse', 
      follow=True 
     ), 
    ) 

def parse(self, response): 
    x = response.xpath('//span[@class="course-name-text"]/text()').extract() 
    item = ClasscentralItem() 
    for y in x: 
     item['name'] = y 
     print item['name'] 

    pass 

Answer 1

このウェブサイトのための2ページ目には、AJAX呼び出しを介して生成しているようです。あなたが任意のブラウザの検査ツールのネットワークタブに見ると、あなたが何かわかります

この場合

をそれが今ではそのURLを思わhttps://www.class-central.com/maestro/courses/recentlyAdded?page=2&_=1469471093134

からJSONファイルを取得しているようです

# so you just need to load it up with 
data = json.loads(response.body) 
# and convert it to scrapy selector - 
sel = Selector(text=data['table']) 

：リターンJSONは、次のページのHTMLコードが含まれています https://www.class-central.com/maestro/courses/recentlyAdded?page=2
：あなただけにそれを離れてトリミングすることができますので、パラメータ _=1469471093134は何もしません10

コード内でこれを複製するには、次のようなコードを試してみてください。

from w3lib.url import add_or_replace_parameter 
def parse(self, response): 
    # check if response is json, if so convert to selector 
    if response.meta.get('is_json',False): 
     # convert the json to scrapy.Selector here for parsing 
     sel = Selector(text=json.loads(response.body)['table']) 
    else: 
     sel = Selector(response) 
    # parse page here for items 
    x = sel.xpath('//span[@class="course-name-text"]/text()').extract() 
    item = ClasscentralItem() 
    for y in x: 
     item['name'] = y 
     print(item['name']) 
    # do next page 
    next_page_el = respones.xpath("//div[@id='show-more-courses']") 
    if next_page_el: # there is next page 
     next_page = response.meta.get('page',1) + 1 
     # make next page url 
     url = add_or_replace_parameter(url, 'page', next_page) 
     yield Request(url, self.parse, meta={'page': next_page, 'is_json': True)