どのようにして治療のcsvにスクラップするのですか

Question

ページをcsvにスクレイプするにはどうすればよいですか？私のCSVは表示されないか、空白になります

私は走りました：scrapy crawl jobs -o output.csv。 csvが表示されている間、何も表示されません。

# -*- coding: utf-8 -*- 
import scrapy 


from scrapy import cmdline 
cmdline.execute("scrapy crawl jobs".split()) 

from scrapy.contrib.spiders import CrawlSpider, Rule 
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor 
from scrapy.selector import HtmlXPathSelector 
from craigslist_sample.items import CraigslistSampleItem 

class MySpider(CrawlSpider): 
    name = "jobs" 
    allowed_domains = ["sfbay.craigslist.org"] 
    start_urls = ["http://sfbay.craigslist.org/search/npo"] 

    rules = (
     Rule(SgmlLinkExtractor(allow=(), restrict_xpaths=('//a[@class="button next"]',)), callback="parse_items", follow= True), 
    ) 

    def parse_items(self, response): 
     hxs = HtmlXPathSelector(response) 
     titles = hxs.xpath('//span[@class="pl"]') 
     items = [] 
     for titles in titles: 
      item = CraigslistSampleItem() 
      item["title"] = titles.xpath("a/text()").extract() 
      item["link"] = titles.xpath("a/@href").extract() 
      items.append(item) 
     return(items) 

    class MySpider(CrawlSpider): 
     name = 'csvexample' 
     start_urls = ['C:/example.csv'] 
     delimiter = ',' 
     headers = ['Address', 'Website'] 

Answer 1

これを試してください - あなたはそれぞれのアイテムを個別にエクスポートする必要があると思います。そのたびにアイテムクラスの特別なインスタンスを作成し、実際にアイテムを返すことはありません。リストにアイテムを追加してからリストを返すので、アイテムのパイプラインは決して通過しません。また、あなたのタイトルのリストでは、複数のタイトルのタイトルについてあなたが言った。 ：

# -*- coding: utf-8 -*- 
import scrapy 


from scrapy import cmdline 
# cmdline.execute("scrapy crawl jobs".split()) -- Not sure what this line achieves? 

from scrapy.contrib.spiders import CrawlSpider, Rule 
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor 
from scrapy.selector import HtmlXPathSelector 
from craigslist_sample.items import CraigslistSampleItem 

class MySpider(CrawlSpider): 
    name = "jobs" 
    allowed_domains = ["sfbay.craigslist.org"] 
    start_urls = ["http://sfbay.craigslist.org/search/npo"] 
    rules = (
    Rule(SgmlLinkExtractor(allow=(), restrict_xpaths=('//a[@class="button next"]',)), callback="parse_items", follow= True), 
    ) 

    def parse_items(self, response): 
     hxs = HtmlXPathSelector(response) 
     titles = hxs.xpath('//span[@class="pl"]') 
     for title in titles: 
      item = CraigslistSampleItem() 
      item["title"] = title.xpath("a/text()").extract_first() 
      item["link"] = title.xpath("a/@href").extract_first() 
      yield item