2016-12-18 14 views
1

現在、私はScrapyについて自分自身を訓練しています。エクスポートを適切にフォーマットしたいと思います。ここ が出力されます(フランスの有名クラシファイド広告がトレーニングのために削られ)Scrapy - 正しくフォーマットすることができません。

"600 €,,,850 €,,,850 €,,,850 €,,770 €,,,600 €,,,600 €,,,60 €,,,782 €,,,670 €,,,700 €,,,936 €,,,730 €,,,450 €,,,800 €,,,680 €,,,865 €,,,790 €,,,880 €,,,850 €,,,900 €,,,813 €,,,850 €,,,795 €,,,560 €,,,900 €,,,750 €,,,950 €,,,390 €,,,875 €,,,650 €,,,799 €,,,825 €,,,695 €,,,790 €,,","Studio meublé 10m² GAITE PARIS 14e,,Très joli studio paris 14,,Studio meublé avec mezzanine Porte d'Orléans,,Studio 1 pièce 33 m²,,STUDIO 20m² - Métro ALESIA -St Pierre de Montrouge,,Studio meublé porte d'Orléans,,Location courte durée Studio 14ème Alésia,,Studio paris 14eme libre dec et janv/nuit,,Appartement 2 pièces 29 m²,,Appartement Alésia/14ème arrondissement,,Studio meublé a louer de suite,,STUDIO rue Pernety 75014,,Studio 15m2 - Paris 14ème,,Appartement Paris 14eme 35m² 1- 4 personnes,,Beau 2 pieces 14eme arrondissement,,Petit studio a louer,,Studio au coeur de paris- montparnasse,,Studio Paris 14e à louer,,Studio 27m² meublé,,Studio 1 pièce 22 m²,,Studio,,Studio 1 pièce 31 m²,,Studio 1 pièce 25 m²,,Appartement 1 pièce 23 m²,,Studette meublé 9m² ALESIA,,Studio 25 m2 à Paris 14,,Appartement 17m proche métro Glacière,,2 Pièces au calme proche Montparnasse,,Studette paris 14eme,,STUDIO 26M2 PARIS 14e ALESIA,,STUDETTE 16m2 RUE D ALESIA 650 EUROS,,Studio meublé et équipé résidence Consul,,Studio 22,5 m2 Métro Pernety,,Appartement 1 pièce 19 m²,,Studio meublé avec 2 balcons Montparnasse Pernety,","" 

だから、基本的に私が持っている:

Price1,Price2,Price3... description1,description2,description3.. 

私が持っているしたいと思います:

Price 1, Description1 
Price 2, Description2 

など

ここに私のコードです:

class LbcSpider(scrapy.Spider): 
name = 'lbc' 

start_urls = ['https://www.leboncoin.fr/locations/offres/ile_de_france/?th=1&location=Paris%2075014&parrot=0&mre=950&sqe=4&ret=2'] 
# j'étais en train de me mettre sur lbc pour scrapper les pages 
def parse(self, response): 
    # extraction des infos de la page 1 

    yield { 
     # extraction du titre 
     # 'title': response.css(
     # 'a.list_item.clearfix.trackable section.item_infos h2.item_title::text').re(r'\s{20,}(.*)'), 
     'title': response.css(
      'a.list_item.clearfix.trackable section.item_infos h2.item_title::text').re(r'\s{20,}(.*)'), 
     # extraction prix 
     'Price': response.css(
      'a.list_item.clearfix.trackable section.item_infos h3.item_price::text').re(r'\s{20,}(.*)'), 
     } 

    # visite des pages suivantes 
    # avec for on extrait de la liste chaque url pour la parser 
    # on ajoute http car pour une raison inconnue elle ne fait pas partie de l'extract? 
    next_page = response.xpath('//a[@id="next"]/@href').extract() 
    if next_page is not None: 
     # modification pour avoir plusieurs url 
     for href in next_page: 
      yield scrapy.Request('http:' + href, callback=self.parse) 
     # next_page = response.urljoin(next_page) 
     #yield scrapy.Request(next_page, callback=self.parse) 

私の質問は、以下の通りである:

  • 私のコードは、最後の位置に呼び出しを置く際に価格の値が最初に来るのはなぜ?
  • どのように "\ n"を追加して各通話時に新しい回線を作成できますか?

ベスト、

+0

を定義することができますか? ([ask]と[mcve]を参照)。 – boardrider

答えて

0

scrapy抽出は、すべての掻き取り項目のリストを生成します。

私はこのように、正しく出力ファイルをフォーマットするために、スクレイピングやアイテムの返却を分離するために容易になるだろうと思う:あなたが最初にすべての価格とタイトルをこすり

def parse(self, response): 
    title = # Scrape the titles 
    Price = # Scrape the prices 
    result = zip(title, Price) 
    for title, Price in result: 
     item = LbcItem() 
     item['title'] = title 
     item['Price'] = Price 
     yield item 

この方法それらを別々のリストに格納し、それらを圧縮し、圧縮されたresult -variableを反復処理します。

このようにして、各アイテムを割り当てて別々に取得することで、必要な結果が得られます。

また、あなたはインスタンス化し `クラスLbcSpiderを()`使用するコードは、あなたのプロジェクト設定でFEED_EXPORT_FIELDSを定義することによって、CSVエクスポートにあなたのアイテムをエクスポートするためにどの順番(hereを参照)

関連する問題