Scrapyを使用してWebサイトを段階的にクロールする

Question

クロールが初めてで、Scrapyを使用してCNBC.comのようなサイトを段階的にクロールすることが可能かどうかを知りたいですか？たとえば、今日、サイトからすべてのページをクロールした場合、明日からは、すべての古いページのクロールを避けるために、このサイトに新たに投稿されたページのみを収集したいと考えています。

ありがとうございました。またはこれを入力します。

Answer 1

短い回答：いいえ。

あなたができることは、記事IDまたは記事URLをファイルに書き込むことです。スクレイピング中に、IDまたはURLをファイルのレコードと一致させることができます。

ファイルを一度ロードして変数に割り当てることを忘れないでください。掻き取るときの反復中にはロードしないでください。

Answer 2

はい、実際には非常に簡単です。すべてのニュースサイトには、ホームページやカテゴリ（政治、エンターテインメントなど）のような非常に重要なインデックスページがいくつかあります。これらのページを少なくとも数分間は通過しない記事はありません。これらのページを毎分スキャンし、リンクだけを保存します。次に、あなたのデータベースにすでにあるものとの差分を行い、数日に数回、クロッシングを発行して、欠落しているリンクをすべて削ってください。非常に標準的なプラクティス。

Answer 3

あなたの人生を楽にしてくれるスクラピープラグインscrapy-deltafetchをお試しください。