クロールクモが次のページに進まない

-1

http://www.ulta.com/makeup-eyes-eyebrows?N=26yiの商品詳細を全部削っています。私のルールは以下の通りです。私は最初のページからのデータしか得ておらず、次のページには進まない。クロールクモが次のページに進まない

rules = (Rule(LinkExtractor(
      restrict_xpaths='//*[@id="canada"]/div[4]/div[2]/div[3]/div[3]/div[2]/ul/li[3]/a',), 
      callback = 'parse', 
      follow =True),)

誰でも私にこれを手伝ってもらえますか？使用CrawlSpiderは、それが自動的にそれ以外スパイダー、と、手動で

class Scrapy1Spider(scrapy.Spider):

参照の

class Scrapy1Spider(CrawlSpider):

代わりに他のリンクを渡す必要があり、他のページにクロールされます

出典

2017-07-03 Zhuoyang Li

下記の質問に記載されているようにCrawlSpiderを使用してください。https://stackoverflow.com/questions/32624033/scrapy-crawl-with-next-page –

私のコードは、上記のリンクのクモの蜘蛛にちょうど従うと思います。しかし動作していません –

：Scrapy crawl with next page

出典

2017-07-03 12:01:20

私はクモの代わりにクモのクモを使用しています。 restrict_xpathsは次のボタンのxpathです。最初のページだけを削っています。 –

他のリンクがallowed_domains変数の一部であることを確認します。なぜLinkExtractorにallow（）を追加しないのですか？ –

問題が解決しました。最初のページを削ったときに製品のエラーが発生しました。 –

クロールクモが次のページに進まない

答えて

関連する問題