Scrapy - 日付別リンクを掻き集める

Question

リンクを関連する日付で削り取ることは可能ですか？私はデータベースに記事情報を保存する毎日の実行スパイダーを実装しようとしていますが、私はすでに昨日の記事の前に掻き取ってしまった記事を再スクラップしたくありません。私はthisを渡って同じことを尋ねるので、scrapy-deltafetch pluginが提案されました。

ただし、これはデータベースに保存されている以前に保存されたrequest fingerprintsに対して新しい要求をチェックすることに依存しています。私は毎日の掻爬がしばらく続くと、すでに掻き取られた要求指紋を格納するためにデータベースに大きなメモリオーバーヘッドが必要になると想定しています。

cnn.comのようなサイトの記事のリストがあるので、6/14/17今日公開されたすべての記事を掻きたいですが、スクレイパーが6/13/17、私はクモを閉じて掻き取りを止めたい。このようなアプローチは治療で可能ですか？記事のページが与えられたら、CrawlSpiderはページの先頭で始まり、順番に記事をこすりますか？

Scrapyに新しくなったので、何を試していいのかわかりません。どんな助けでも大歓迎です、ありがとう！

Answer 1

私は、興味のある項目に関する情報を石畳にまとめたものからdatetime.strptime(Item['dateinfo'], "%b-%d-%Y")を使用して日付を構成します。

その後、私は自分の設定で設定された年齢に対してそれをチェックします。これは呼び出しごとにオーバーライドすることができます。古すぎる年齢が見つかった場合や、完成したフラグを設定して、他のコードでそれを処理することができる場合は、closespider例外を発行できます。

物事を覚えておく必要はありません。私は毎日実行するスパイダーでこれを使用し、私は単に24時間の制限を設定します。

Answer 2

日付とタイトルを指紋として確認するカスタムのdelta-fetch_keyを使用することができます。

from w3lib.url import url_query_parameter 

... 

def parse(self, response): 
    ... 
    for product_url in response.css('a.product_listing'): 
     yield Request(
      product_url, 
      meta={'deltafetch_key': url_query_parameter(product_url, 'id')}, 
      callback=self.parse_product_page 
     ) 
    ...