Scrapyのprocess_exceptionで応答ステータスコードを取得するにはどうすればよいですか？

Question

例外が発生し、応答ステータスコードが429の場合は、Scrapyリクエストを再試行します。問題は、process_exceptionの応答ステータスを取得する方法がわかりません。 process_exception内の応答オブジェクトにアクセスする方法がないと思われるので、どうすればいいですか？

class FakeUserAgentErrorRetryMiddleware(RetryMiddleware): 

    def process_exception(self, request, exception, spider): 
     if type(exception) == FakeUserAgentError: return self._retry(request, exception, spider) 

Answer 1

あなたが要求を再試行する場合は、response.status = 429 を持っているとき、あなたは429RETRY_HTTP_CODESで

RETRY_HTTP_CODES = [429] 

を追加する必要がありますあなたはRETRY_TIMES

で再試行する最大回数を設定するも設定することができます