scrapyから返されたリストをPythonのデータフレームに変換する方法

Question

以下のスクリプトを使用して、imdbからムービーのレビューと評価を抽出しています。

from scrapy.spiders import Spider 
from scrapy.selector import Selector 
from imdb.items import ImdbItem 


class ImdbSpider(Spider): 
    name = "imdb" 
    allowed_domains = ["imdb.com"] 
    start_urls = [ 
     "http://www.imdb.com/title/tt0068646/reviews?ref_=%20best", 

    ] 

    def parse(self, response): 
     sel = Selector(response) 
     sites = sel.xpath('//div[contains(@id,"tn15content")]/p') 
     ratings = sel.xpath('//div[contains(@id,"tn15content")]/div/img') 
    items = [] 

     for site in sites: 
      item = ImdbItem() 
      item['review'] = site.xpath('text()').extract_first() 
      items.append(item) 

    for rating in ratings: 
      item = ImdbItem() 
      item['rating'] = rating.xpath('@alt').extract_first() 
      items.append(item) 

    return items 

しかし、これは私がパンダDATAFRAME object.Is内のすべてのデータを入れて探しています.But初めにレビューして、評価を（それがリストであるとして、それがあるべきように）持っているリストを返します。そこには私が蜘蛛の蜘蛛の中からそれをやり遂げることができる方法はありますか？誰かが親切にこれについて私を助けることができますか？

私が望む結果はイメージの最初の部分にあり、私が得るのはイメージの2番目の部分です。注：これは私が表示している1つのレビューのためです。

image of outputs:

Answer 1

リストの代わりに辞書への書き込みを編集し、あなたのコード：その後、

items = {'Ratings':[], 'Reviews':[]} 

for site, rating in zip(sites, ratings): 
    review = ImdbItem() 
    rating = ImdbItem() 

    review['review'] = site.xpath('text()').extract_first()  
    rating['rating'] = rating.xpath('@alt').extract_first() 
    print(review['review'], rating['rating']) 

    items['Ratings'].append(rating) 
    items['Reviews'].append(review) 

とあなたのpd.DataFrameを作成して返すようにその辞書を使用します。

return pd.DataFrame(items, columns=['Ratings', 'Reviews']) 

columns引数は単に列の順序を設定します。スキップすることはできますが、列の順序は変わる可能性があります（辞書が順序どおりでないためed）。

zip()を使用すると、サイトと評価の両方を同時に繰り返すことができます。zip()は、最短の繰り返し処理の最後で停止することがわかります。最長で停止したい場合は、itertools.zip_longest()を代わりに使用してください。

from itertools import zip_longest 
for site, rating in zip_longest(sites, ratings)