Scrapy SitemapSpiderで構文解析を停止する方法

Question

私の要件はsitemap.xmlに存在するすべてのURLを取得することですが、scrapy sitemapspiderクラスはタスクを実行しますが、ページを解析して、全体をダウンロードしようとすると、ページ。

それぞれのURLにアクセスせずにURLを取得する方法です。

Answer 1

あなたのためにすべてを行うscrapy.utils.sitemap.Sitemapオブジェクトを使用して、サイトマップからURLを抽出することができます。

import scrapy 
from scrapy.utils.sitemap import Sitemap 


class SitemapJustUrlsSpider(scrapy.Spider): 
    name = "sitemap_spider" 
    start_urls = (
     'http://www.example.com/sitemap.xml', 
    ) 

    def parse(self, response): 
     s = Sitemap(response.body) 
     for sitelink in s: 
      url = sitelink['loc'] 
      yield {'url': url} 

は、それからちょうどURLを保存するには： scrapy crawl sitemap_spider -o urls.json