キャッシュに治療応答が追加されないようにする

Question

ステータスコード200のページを返すウェブサイトをクロールして、すべてが問題ないことを示唆しています。これにより、ページがscrapyのキャッシュに入れられます。

これらのページは後で再クロールします。しかし、キャッシュ内にある場合、再クロールされません。

httpcacheミドルウェアからprocess_response関数をオーバーロードするか、reponse htmlの特定の文字列を探して、200コードをエラーコードで上書きすることは可能ですか？

特定のレスポンスをキャッシュに保存しないように、どのようにするのが最も簡単な方法でしょうか。

Answer 1

治療では、http応答をキャッシュするのにscrapy.downloadermiddlewares.httpcache.HttpCacheMiddlewareを使用します。あなただけのようにTrueに要求メタキーワードdont_cacheを設定することができ、このキャッシュを無視するには：また、上記

yield Request(url, meta={'dont_cache': True}) 

ドキュメントは、あなたもその中に興味を持っている場合は、設定でプロジェクト全体のそれを無効にする方法を述べています。