各URLのすべてのアイテムを保存する方法

Question

このようなURLリストを追加します。パイプラインに行くと、urlリストのすべてのアイテムがprocess_itemに渡されるようです。

特定のURLに従ってアイテムを分割する方法はありますか？たとえば、1つのURLから1つのファイルに項目を保存する場合などです。

class MySpider(scrapy.Spider): 
    name = 'example.com' 
    allowed_domains = ['example.com'] 
    start_urls = [ 
     'http://www.example.com/1.html', 
     'http://www.example.com/2.html', 
     'http://www.example.com/3.html', 
    ] 

Answer 1

アイテムを生成する前にアイテムにref_urlを追加し、パイプラインでチェックします。他の解決策もありますが、これは私が推測する最も直接的なものです。