normalize-spaceが処理していません

Question

URL内のWebページから章のタイトルとそのサブタイトルを抽出しようとしています。これは私がせいぜいでの結果を得るにはどうすればよい

content_item,full_url,title 
" 

     ,Chapter 1, 



     , 


    , 

     ,Instructor Introduction, 

     ,00:01:00, 



    , 

    , 

     ,Course Overview, 

私はスペースを削除するために私のXPathでノーマライズfucntionを使用していますが、私は私のcsvファイルに次のような結果を得る私のクモ

import scrapy 
from ..items import ContentsPageSFBItem 

class BasicSpider(scrapy.Spider): 
    name = "contentspage_sfb" 
    #allowed_domains = ["web"] 
    start_urls = [ 
     'https://www.safaribooksonline.com/library/view/shell-programming-in/9780134496696/', 
    ] 

    def parse(self, response): 
      item = ContentsPageSFBItem() 
      item['content_item'] = response.xpath('normalize-space(//ol[@class="detail-toc"]//*/text())').extract(); 
      length = len(response.xpath('//ol[@class="detail-toc"]//*/text()').extract()); #extract() 
      full_url_list = list(); 
      title_list = list(); 
      for i in range(1,length+1): 
       full_url_list.append(response.url) 
      item["full_url"] = full_url_list 
      title = response.xpath('//title[1]/text()').extract(); 
      for j in range(1,length+1): 
       title_list.append(title) 
      item["title"] = title_list 
      return item 

です各エントリの後に新しい行が1つだけありますか？あなたがにitem['content_item']であなたのXPath式を変更する必要がTable of Contentsセクション内のすべてのテキストを取得したい場合は

Answer 1

：

item['content_item'] = response.xpath('//ol[@class="detail-toc"]//a/text()').extract() 

をあなたは、このようなコードをスパイダー書き換えることができます：あなたの予想は何

import scrapy 

class BasicSpider(scrapy.Spider): 

    name = "contentspage_sfb" 
    start_urls = [ 
     'https://www.safaribooksonline.com/library/view/shell-programming-in/9780134496696/', 
    ] 

    def parse(self, response): 
     item = dict()  # change dict to your scrapy item 
     for link in response.xpath('//ol[@class="detail-toc"]//a'): 
      item['link_text'] = link.xpath('text()').extract_first() 
      item['link_url'] = response.urljoin(link.xpath('@href').extract_first()) 
      yield item 

# Output: 
{'link_text': 'About This E-Book', 'link_url': 'https://www.safaribooksonline.com/library/view/shell-programming-in/9780134496696/pref00.html#pref00'} 
{'link_text': 'Title Page', 'link_url': 'https://www.safaribooksonline.com/library/view/shell-programming-in/9780134496696/title.html#title'}