0
/favicon.ico私はこのコードでcdiscountに売り手のページをクロールしてみてください:とValueError:リクエストURLに欠けスキーム:
# -*- coding: utf-8 -*-
import scrapy
import re
import numbers
from cdiscount_test.items import CdiscountTestItem
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
f = open('item.csv', 'w').close()
class CdiscountsellersspiderSpider(scrapy.Spider):
name = 'CDiscountSellersSpider'
allowed_domains = ['cdiscount.com']
start_urls = ['http://www.cdiscount.com/mpvv-47237-EANTECHNOLOGY.html']
def parse(self, response):
for sel in response.xpath('//html/body'):
item = CdiscountTestItem()
list_urls = sel.xpath('//@href').extract()
for url in list_urls:
item['list_url'] = url
yield scrapy.Request(url, callback=self.parsefeur, meta={'item': item})
def parsefeur(item, response):
item = response.request.meta['item']
#etc other lines...
と私はいつもタイプのエラーを持っている:
raise ValueError('Missing scheme in request url: %s' % self._url)
ValueError: Missing scheme in request url:
このウェブサイト上のエラーが、それらのどれも私に解決しない:「H」
は私がのためのいくつかの解決策を見つけた「:favicon.io」エラー...ライン58のdoc のinitで
エラーをの.py:
if ':' not in self._url:
しかし、私はそれを変更することはできませんoを私は
が私を助けてください可能性があり、誰もがそこには...、この行を理解していませんか?
このリンクをフィルタに出力しますか? – kindall
私はそれを行う方法がわかりません...あなたはそれを私に説明することができますPLZ? –