セッション中のセッションクッキーを維持する

Question

私がクリックする必要がある受け入れ条件のフォームを持つサイトを削っています。ボタンをクリックすると、スクラップする必要があるリソースにリダイレクトされます。基本的な仕組みが働いています。これは最初のクリックスルーです。セッションが始まり、セッションがタイムアウトするまでうまくいっています。次に何らかの理由でScrapyがリダイレクトされますが、レスポンスURLは更新されないので、重複をチェックするためにURLを使用しているので重複した項目を取得します。

例えば、私が要求していますURLは次のとおりです。

https://some-internal-web-page/Records/Details/119ce2b7-35b4-4c63-8bd2-2bfbf77299a8 

しかし、セッションは私が手満了時：

https://some-internal-web-page/?returnUrl=%2FRecords%2FDetails%2F119ce2b7-35b4-4c63-8bd2-2bfbf77299a8 

ここに私のコードです：

# function to get through accept dialog 
def parse(self, response): 
    yield FormRequest.from_response(response, formdata={"value":"Accept"}, callback=self.after_accept) 

# function to parse markup 
def after_accept(self, response): 

    global latest_inspection_date 

    urls = ['http://some-internal-web-page/Records?SearchText=&SortMode=MostRecentlyHired&page=%s&PageSize=25' % page for page in xrange(1,500)] 

    for u in urls: 
     yield Request(u, callback=self.parse_list) 

だから私の質問私が必要とするURLの代わりにリダイレクトURLを取得しないように、セッションCookieを永続化および/またはリフレッシュするにはどうすればよいですか。

Answer 1

デフォルトではCookieが有効になっており、すべてのコールバックに渡されます。COOKIES_ENABLED=Trueを有効にしてください（settings.py）。

COOKIES_DEBUG=True（デフォルトではFalse）でデバッグログを有効にして、Cookieが正しく渡されているかどうかを確認することもできます。