Scrapy - アイテムを静かにドロップする

Question

Scrapyを使用して複数のWebサイトをクロールしています。

私が掻き集めるページごとに、ページのURL、タイトル、およびHTMLコードをmongoDBに保存します。 私はデータベースに重複を避けたいので、類似の項目が既に格納されているかどうかを確認するためにパイプラインを実装します。このような場合、私はDropItem例外を発生させます。

raisonでアイテムをドロップするたびに、DropItemの例外が発生すると、Scrapyはアイテムの全内容をログ（stdoutまたはファイル）に表示します。 各スクレイプページのHTMLコード全体を抽出するので、ドロップすると、HTMLコード全体がログに表示されます。

コンテンツを表示せずにアイテムを静かにドロップするにはどうすればよいですか？

ありがとうございました！

class DatabaseStorage(object): 
    """ Pipeline in charge of database storage. 

    The 'whole' item (with HTML and text) will be stored in mongoDB. 
    """ 

    def __init__(self): 
     self.mongo = MongoConnector().collection 

    def process_item(self, item, spider): 
     """ Method in charge of item valdation and processing. """ 
     if item['html'] and item['title'] and item['url']: 
      # insert item in mongo if not already present 
      if self.mongo.find_one({'title': item['title']}): 
       raise DropItem('Item already in db') 
      else: 
       self.mongo.insert(dict(item)) 
       log.msg("Item %s scraped" % item['title'], 
        level=log.INFO, spider=spider) 
     else: 
      raise DropItem('Missing information on item %s' % (
       'scraped from ' + item.get('url') 
       or item.get('title'))) 
     return item 

Answer 1

これを行うための適切な方法は、あなたのプロジェクトのためのカスタムLogFormatterを実装することになりそうだ、と変更ドロップされたアイテムのロギングレベル

例：あなたの設定ファイルで次に

from scrapy import log 
from scrapy import logformatter 

class PoliteLogFormatter(logformatter.LogFormatter): 
    def dropped(self, item, exception, response, spider): 
     return { 
      'level': log.DEBUG, 
      'format': logformatter.DROPPEDFMT, 
      'exception': exception, 
      'item': item, 
     } 

、のようなもの：

LOG_FORMATTER = 'apps.crawler.spiders.PoliteLogFormatter' 

は、私はちょうど将来のパイプラインで例外を引き起こした "なし、" 返さない不運がありました。

Answer 2

私は質問を投稿する前に答えを見つけました。 私はまだ答えが同じ問題を抱えている人にとって価値があると思います。

代わりDropItemの例外を除いて、オブジェクトをドロップすると、あなただけなし値を返す必要があります：

def process_item(self, item, spider): 
    """ Method in charge of item valdation and processing. """ 
    if item['html'] and item['title'] and item['url']: 
     # insert item in mongo if not already present 
     if self.mongo.find_one({'url': item['url']}): 
      return 
     else: 
      self.mongo.insert(dict(item)) 
      log.msg("Item %s scraped" % item['title'], 
       level=log.INFO, spider=spider) 
    else: 
     raise DropItem('Missing information on item %s' % (
      'scraped from ' + item.get('url') 
      or item.get('title'))) 
    return item 

Answer 3

最近のScrapyバージョンでは、これは少し変更されています。私は@jimmytheleafからコードをコピーして、それが最近Scrapyで動作するように固定さ：

import logging 
from scrapy import logformatter 


class PoliteLogFormatter(logformatter.LogFormatter): 
    def dropped(self, item, exception, response, spider): 
     return { 
      'level': logging.INFO, 
      'msg': logformatter.DROPPEDMSG, 
      'args': { 
       'exception': exception, 
       'item': item, 
      } 
     }