scrapyを使用して複数のページをクロールするにはどうすればよいですか？

Question

Scrapyで見つかったすべての例では、1つのページをクロールする方法、同じURLスキーマを持つページ、またはウェブサイトのすべてのページについて話しています。私は、すべてのCのページをクロールする必要が

A 
----> B 
---------> C 
D 
E 

： 私はAであなたがBへのリンクを持って、その..に は、例えば、ウェブサイトの構造があるページA、B、Cのシリーズをクロールする必要があります、Cへのリンクを取得するには、AとBの前にクロールする必要があります。 ヒント？

Answer 1

では、次のようなコールバックパラメータを使用する必要がありますこのような連鎖をクロールするために、scrapy Request structureを参照してください。ここで

class MySpider(BaseSpider): 
    ... 
    # spider starts here 
    def parse(self, response): 
     ... 
     # A, D, E are done in parallel, A -> B -> C are done serially 
     yield Request(url=<A url>, 
         ... 
         callback=parseA) 
     yield Request(url=<D url>, 
         ... 
         callback=parseD) 
     yield Request(url=<E url>, 
         ... 
         callback=parseE) 

    def parseA(self, response): 
     ... 
     yield Request(url=<B url>, 
         ... 
         callback=parseB) 

    def parseB(self, response): 
     ... 
     yield Request(url=<C url>, 
         ... 
         callback=parseC) 

    def parseC(self, response): 
     ... 

    def parseD(self, response): 
     ... 

    def parseE(self, response): 
     ... 

Answer 2

は、私は私のプロジェクトのために書いた例のクモです：

from scrapy.contrib.spiders import CrawlSpider 
from scrapy.selector import HtmlXPathSelector 
from scrapy.http import Request 
from yoMamaSpider.items import JokeItem 
from yoMamaSpider.striputils import stripcats, stripjokes 
import re 

class Jokes4UsSpider(CrawlSpider): 
    name = 'jokes4us' 
    allowed_domains = ['jokes4us.com'] 
    start_urls = ["http://www.jokes4us.com/yomamajokes/"] 

    def parse(self, response): 
     hxs = HtmlXPathSelector(response) 
     links = hxs.select('//a') 
     for link in links: 
      url = ''.join(link.select('./@href').extract()) 
      relevant_urls = re.compile(
       'http://www\.jokes4us\.com/yomamajokes/yomamas([a-zA-Z]+)') 
      if relevant_urls.match(url): 
       yield Request(url, callback=self.parse_page) 

    def parse_page(self, response): 
     hxs = HtmlXPathSelector(response) 
     categories = stripcats(hxs.select('//title/text()').extract()) 
     joke_area = hxs.select('//p/text()').extract() 
     for joke in joke_area: 
      joke = stripjokes(joke) 
      if len(joke) > 15: 
       yield JokeItem(joke=joke, categories=categories) 

私は解析メソッドがあなたの後にあると思います： start_urlsページのすべてのリンクを見て、それが関連する場合はrelevant_url（つまり、私が掻きたいと思うURL）かどうかを判断する正規表現を使用します - yield requestを使用してページをスクラップします（ url、callback = self.parse_page）。これはparse_pageメソッドを呼び出します。

これはあなたが後にするものですか？