Python Scrapy - スパイダー終了後にコードを実行

Question

私はその質問に対する回答を見つけることができません。どのように私はscrapyスパイダーの終了後にPythonコードを実行することができます

を私は（DEF（自己、応答）parse_item :)応答を解析し、関数内で次のようでした： self.my_function（） 私はmy_functionのを定義したより（）しかし、問題はそれがまだクモのループの内側にあるということです。私の主な考えは、収集されたデータでスパイダーのループの外の関数でコードを実行することです。おかげさまで 次のように

Answer 1

はScrapyクラスの機能closedを使用します。

class MySpider(scrapy.Spider): 
    # some attributes 
    spider_attr=[] 

    def parse(self, response): 
     # do your logic here 
     # page_text = response.xpath('//text()').extract() 
     self.spider_attr.append(whatever) 

    def closed(self, reason): 
     # will be called when the crawler process ends 
     # any code 
     # do something with collected data 
     for i in self.spider_attr: 
      print i