2017-06-23 19 views
0

/favicon.ico私はこのコードでcdiscountに売り手のページをクロールしてみてください:とValueError:リクエストURLに欠けスキーム:

# -*- coding: utf-8 -*- 
import scrapy 
import re 
import numbers 
from cdiscount_test.items import CdiscountTestItem 
from scrapy.linkextractors import LinkExtractor 
from scrapy.spiders import CrawlSpider, Rule 

f = open('item.csv', 'w').close() 

class CdiscountsellersspiderSpider(scrapy.Spider): 
    name = 'CDiscountSellersSpider' 
    allowed_domains = ['cdiscount.com'] 
    start_urls = ['http://www.cdiscount.com/mpvv-47237-EANTECHNOLOGY.html'] 

    def parse(self, response): 
     for sel in response.xpath('//html/body'): 
       item = CdiscountTestItem() 
      list_urls = sel.xpath('//@href').extract() 
      for url in list_urls: 
       item['list_url'] = url 
       yield scrapy.Request(url, callback=self.parsefeur, meta={'item': item}) 

    def parsefeur(item, response): 
     item = response.request.meta['item'] 
#etc other lines... 

と私はいつもタイプのエラーを持っている:

raise ValueError('Missing scheme in request url: %s' % self._url) 
ValueError: Missing scheme in request url: 
このウェブサイト上のエラーが、それらのどれも私に解決しない:「H」

は私がのためのいくつかの解決策を見つけた「:favicon.io」エラー...ライン58のdoc のinitで

エラーをの.py:

if ':' not in self._url: 

しかし、私はそれを変更することはできませんoを私は

が私を助けてください可能性があり、誰もがそこには...、この行を理解していませんか?

+0

このリンクをフィルタに出力しますか? – kindall

+0

私はそれを行う方法がわかりません...あなたはそれを私に説明することができますPLZ? –

答えて

1

aの属性にはhrefという属性が含まれています(ここでは、a要素のみを取得することにしています)。

また、相対リンクには注意が必要です。リンクが絶対的であると確信できない場合は、response.urljoin()メソッドを使用して絶対リンクを取得してください(documentationを参照)。

関連する問題