Scrapy throws属性エラー

Question

ここでコードを書いた方法では、私は別のサイトから結果を得ましたが、何らかの理由でこのサイトがエラーをスローします。私が治療の新しいコーダーであるので、私は自分自身で問題を解決する能力を持っていません。 Xパスは大丈夫です。

items.py

import scrapy 
class OlxItem(scrapy.Item): 
    Title = scrapy.Field() 
    Url = scrapy.Field() 

olxsp.py

from scrapy.contrib.spiders import CrawlSpider, Rule 
from scrapy.linkextractors import LinkExtractor 

class OlxspSpider(CrawlSpider): 
    name = "olxsp" 
    allowed_domains = ['olx.com.pk'] 
    start_urls = ['https://www.olx.com.pk/'] 

    rules = [Rule(LinkExtractor(restrict_xpaths='//div[@class="lheight16 rel homeIconHeight"]')), 
      Rule(LinkExtractor(restrict_xpaths='//li[@class="fleft tcenter"]'), 
      callback='parse_items', follow=True)] 

    def parse_items(self, response): 
     page=response.xpath('//h3[@class="large lheight20 margintop10"]') 
     for post in page: 
      AA=post.xpath('.//a[@class="marginright5 link linkWithHash detailsLink"]/span/text()').extract() 
      CC=post.xpath('.//a[@class="marginright5 link linkWithHash detailsLink"]/@href').extract() 
      yield {'Title':AA,'Url':CC} 

settings.py

BOT_NAME = 'olx' 
SPIDER_MODULES = ['olx.spiders'] 
NEWSPIDER_MODULE = 'olx.spiders' 

ROBOTSTXT_OBEY = True 

画像：私は、コードと一緒に、端末に何を参照してください添付しています治療終了後の端末の状態：

Answer 1

1. あなたはそれがクロールドメインのrobots.txtファイルをチェックするscrapyを伝えROBOTSTXT_OBEY = Trueを持っているので、これらのサイトに礼儀正しくする方法を決定することができます。

2. allowed_domains = ['www.olx.com']に実際にクロールしているドメインと異なるドメインを許可しています。 olx.com.pkサイトのみをクロールする場合は、allowed_domainsを['olx.com.pk']に変更してください。クロールするサイトが実際にわからない場合は、allowed_domainsという属性を削除してください。