変更する代わりに完全にクッキーを消去する

Question

セッションクッキーが多すぎるページで使用されているため、スクラップ中にブロックされることがあることに気づきました。 クロール中にすべてのクッキーを完全に消去してクローラーの初期状態に戻す方法はありますか？

Answer 1

同様の状況に直面しています。ここで簡単に取り除くことができますが、私が持っているアイデアの1つは、CookieMiddlewareをサブクラス化し、jar変数を直接微調整するメソッドを書くことです。それは汚いですが、おそらく考慮する価値があります。

もう1つのオプションは、少なくともクッキーをクリアする機能を持つ機能要求を書き込むことです。簡単に実装するために一年かかることができます、私は特にここでは、scrap開発者を信頼していないと思う場合は、必要があります。

あなた自身のcookiejarメタを使用することができます。クリーンな状態に戻す場合は、単純に別の値を使用します（整数を増やすなど）。