虐待 - ページ分割ブラックホールを避ける方法は？

Question

私は最近、ウェブサイトのスパイダーに取り組んでいました。サイトが無限のページ数を要求しているのに気付きました。など

彼らは唯一のコンテンツのいくつかのページを持っていたので、それはまだ次のリンクやURLを生成するであろう...？ページ= 400、...？ページ= 401、

コンテンツのdidn URLは変更されません。コンテンツが変化しなくなったときに、ページングの後でScrapyを停止する方法はありますか？または私はカスタムをコード化することができます。

Answer 1

コンテンツが変更されない場合は、現在のページの内容と前のページの内容を比較し、同じ場合はクロールを解除します。例えば

：

def parse(self, response): 
    product_urls = response.xpath("//a/@href").extract() 
    # check last page 
    if response.meta.get('prev_urls') == product_urls: 
     logging.info('reached the last page at: {}'.format(response.url)) 
     return # reached the last page 
    # crawl products 
    for url in product_urls: 
     yield Request(url, self.parse_product) 
    # create next page url 
    next_page = response.meta.get('page', 0) + 1 
    next_url = re.sub('page=\d+', 'page={}'.format(next_page), response.url) 
    # now for the next page carry some data in meta 
    yield Request(next_url, 
        meta={'prev_urls': product_urls, 
         'page': next_page}