Scrapy Only Cache Images

Question

私はRFC2616ポリシーを使って解決策を見つけたと思っていましたが、スクレイパーの実行時間をテストすると同じことが言えます。そこで、私はデフォルトポリシーに戻りました。

私は今、私はあなたが

を指定してポリシーを上書きすることができます私の理解から、アイテムimage_urls今

に私が送ったURLをキャッシュする必要が

'production.pipelines.MyImagesPipeline' 

に私のimage_urlsを演出しています

class DummyPolicy(object): 

def should_cache_response(self, response, request): 
    if image_url in item['image_urls']: 
     return True 
    else: 
     return False 


def is_cached_response_valid(self, cachedresponse, response, request): 
    return True 

このコードを使用するには、どのようなコードの提案ですか？

Answer 1

私は特定の降伏要求にメタdont_cacheを追加することにより、溶液を作成しました：

yield scrapy.Request(url, self.parse, meta={'dont_cache': True})