私はpython scrapyでスクリプトを書いて、yellowpageからいくつかの項目を解析しました。スクリプトを実行すると、すべての項目を完璧に解析します。しかし、私は問題に遭遇すると、それに応じて刻まれたデータをCSVファイルに書き込むことになります。データが埋め込まれたCSVファイルを開くと、データが1行おきに印刷されていることがわかります。空白行を取り除くにはどうすればよいですか?あなたの検討のためにスクリプト情報の下に貼り付けています。Scrapyは、1行おきにcsvファイルにデータを出力します
"items.py" は含まれています:クモ別名
from scrapy.item import Item, Field
class RealypItem(Item):
Name = Field()
Address = Field()
Phone = Field()
"yp.pyは、" 含まれています
from scrapy.spider import BaseSpider
class MySpider(BaseSpider):
name = "YellowPage"
allowed_domains = ["yellowpages.com"]
start_urls = ["https://www.yellowpages.com/search?search_terms=Coffee%20Shops&geo_location_terms=Los%20Angeles%2C%20CA&page=2"]
def parse(self, response):
page = response.xpath('//div[@class="info"]')
for titles in page:
Title = titles.xpath('.//span[@itemprop="name"]/text()').extract()
Adr = titles.xpath('.//span[@itemprop="streetAddress" and @class="street-address"]/text()').extract()
Tel = titles.xpath('.//div[@itemprop="telephone" and @class="phones phone primary"]/text()').extract()
yield{'Name':Title,'Address':Adr,'Phone':Tel}
私はスクリプトを実行するために使用していますコマンドを:
scrapy crawl YellowPage -o items.csv -t csv
ここに、csvファイルに埋め込まれたデータの様子を部分的に示します。
スクリーンショットではなく実際のファイルコンテンツを投稿できますか?多分あなたのソフトウェアはcsvを誤解しているだけでしょうか? – Granitosaurus
ご意見ありがとうございます。そのファイルのリンクをしばらく貼り付けるつもりです。 – SIM
ここにそのcsvファイルへのリンクがあります: "https://www.dropbox.com/s/xt49h3p3hx7sn7l/items.csv?dl=0" – SIM