Scrapyでクロールすることなくアイテムパイプラインを介して実行することは可能ですか？

Question

私はスクラップしたアイテムを持ったファイル.jlを持っています。私は掻き取りをしていたときには存在しなかったもう一つのパイプラインを持っています。パイプラインだけを実行し、クロール/スクレイプをやり直さずに新しいパイプラインを適用することは可能ですか？

Answer 1

クイックアンサー：はい。

他のコンポーネントの処理中にダウンローダをバイパスするには、Responseオブジェクトを返すカスタムダウンローダミドルウェアをprocess_requestメソッドで使用できます。詳細を確認してください：http://doc.scrapy.org/en/latest/topics/downloader-middleware.html

あなたの場合、私は個人的には、あなたのローカルファイルシステムから.jlファイルをダウンロードする簡単なコードを使うことができると思います。迅速な（フル）例：

# coding: utf8 

import json 
import scrapy 


class SampleSpider(scrapy.Spider): 

    name = 'sample_spider' 
    start_urls = [ 
     'file:///tmp/some_file.jl', 
    ] 
    custom_settings = { 
     'ITEM_PIPELINES': { 
      'your_pipeline_here': 100, 
     }, 
    } 

    def parse(self, response): 
     for line in response.body.splitlines(): 
      jdata = json.loads(line) 
      yield jdata 

だけで、ファイルへの実際のパスで'/tmp/some_file.jl'を交換してください。