スクリーニング：リンクとテキストを抽出する

Question

私はスクレイピーに新しいです。私はイケアのウェブサイトのウェブページをスクラップしようとしています。場所のリストが与えられたhereの基本ページ。

マイitems.pyファイルは以下の通りである：

import scrapy 


class IkeaItem(scrapy.Item): 

    name = scrapy.Field() 
    link = scrapy.Field() 

そしてクモは以下の通りである：私は任意の出力を取得していない午前ファイルを実行するには

import scrapy 
from ikea.items import IkeaItem 
class IkeaSpider(scrapy.Spider): 
    name = 'ikea' 

    allowed_domains = ['http://www.ikea.com/'] 

    start_urls = ['http://www.ikea.com/'] 

    def parse(self, response): 
     for sel in response.xpath('//tr/td/a'): 
      item = IkeaItem() 
      item['name'] = sel.xpath('a/text()').extract() 
      item['link'] = sel.xpath('a/@href').extract() 

      yield item 

。

[[{"link": [], "name": []} 

私が探していた出力場所やリンクの名前です：JSONファイルの出力は次のようなものがあります。私は何も得ていない。 どこが間違っていますか？

Answer 1

アイテムフィールドのxpath式の中に単純な間違いがあります。ループはすでにaタグを処理していますので、内側のxpath式にaを指定する必要はありません。つまり、現在タグをaタグ内のtd内にあるtr内に検索しています。明らかに何にもなりません。

a/text()とtext()とa/@hrefを@hrefと置き換えます。

（テスト - 私の作品）

Answer 2

使用この....

item['name'] = sel.xpath('//a/text()').extract() 
    item['link'] = sel.xpath('//a/@href').extract()