治療とレスポンスのステータスコード：どのようにチェックするのですか？

Question

私は404、302、200のページをチェックするために、私のサイトマップをクロールするためにscrapyを使用しています。しかし、私は応答コードを取得することができないようです。これはこれまでの私のコードです：

from scrapy.contrib.spiders import SitemapSpider 


class TothegoSitemapHomesSpider(SitemapSpider): 
    name ='tothego_homes_spider' 

    ## robe che ci servono per tothego ## 
    sitemap_urls = [] 
    ok_log_file =  '/opt/Workspace/myapp/crawler/valid_output/ok_homes' 
    bad_log_file =  '/opt/Workspace/myapp/crawler/bad_homes' 
    fourohfour =  '/opt/Workspace/myapp/crawler/404/404_homes' 

    def __init__(self, **kwargs): 
     SitemapSpider.__init__(self) 

     if len(kwargs) > 1: 
      if 'domain' in kwargs: 
       self.sitemap_urls = ['http://url_to_sitemap%s/sitemap.xml' % kwargs['domain']] 

      if 'country' in kwargs: 
       self.ok_log_file += "_%s.txt" % kwargs['country'] 
       self.bad_log_file += "_%s.txt" % kwargs['country'] 
       self.fourohfour += "_%s.txt" % kwargs['country'] 

     else: 
      print "USAGE: scrapy [crawler_name] -a country=[country] -a domain=[domain] \nWith [crawler_name]:\n- tothego_homes_spider\n- tothego_cars_spider\n- tothego_jobs_spider\n" 
      exit(1) 

    def parse(self, response): 
     try: 
      if response.status == 404: 
       ## 404 tracciate anche separatamente 
       self.append(self.bad_log_file, response.url) 
       self.append(self.fourohfour, response.url) 

      elif response.status == 200: 
       ## printa su ok_log_file 
       self.append(self.ok_log_file, response.url) 
      else: 
       self.append(self.bad_log_file, response.url) 

     except Exception, e: 
      self.log('[eccezione] : %s' % e) 
      pass 

    def append(self, file, string): 
     file = open(file, 'a') 
     file.write(string+"\n") 
     file.close() 

scrapyの文書から、response.statusパラメータはレスポンスのステータスコードに対応する整数です。これまでのところ、200のステータスURLだけを記録し、302は出力ファイルには書き込まれません（ただし、crawl.logのリダイレクトを見ることができます）。だから、私は302の要求を "トラップ"してそれらのURLを保存するために何をしなければならないのですか？デフォルトのスパイダーミドルウェアが有効になっていると仮定すると

Answer 1

http://readthedocs.org/docs/scrapy/en/latest/topics/spider-middleware.html#module-scrapy.contrib.spidermiddleware.httperror

、200-300範囲外の応答コードはHttpErrorMiddlewareによってフィルタリングされます。あなたのスパイダーでhandle_httpstatus_list属性を設定することで、404を処理したいミドルウェアに指示することができます。

class TothegoSitemapHomesSpider(SitemapSpider): 
    handle_httpstatus_list = [404] 

Answer 2

ここだけ完全奏効ました：

• 設定Handle_httpstatus_list = [302]。

• リクエストに応じて、dont_redirectをmetaでTrueに設定します。たとえば、Request（URL、meta = {'dont_redirect'：True}）;