Scrapy用に独自のストレージバックエンドを実装する方法は？

Question

私はフィードのエクスポート方法でredisにクロールの結果を保存したいと思います。

したがって、Scrapyの独自のストレージバックエンドを実装する方法は？

Answer 1

クロールされたアイテムをredisに保存する場合は、scrapy redisとRedisPipelineを使用することをおすすめします。

他のデータベースの場合は、カスタムPipelineを使用してください。 scrapy docとMongoDBの例を確認させていただきます。