スパイダーで掻き集めたページ数を調べるには

私はPythonでScrapyを使用してウェブサイトからデータをスクラップしています。スパイダーで掻き集めたページ数を調べるには

ウェブサイトからデータを正常に取得しましたが、スパイダーがいくつのページをスクラップしたかを知りたいと思います。

Scrapy統計は以下の通りです：

コードはどこですか？ – Frrank

コードを表示する必要があります。 –

scrapyは、ページを要求するためにrequestsを使用し、ウェブサーバーからresponsesを取得しますが、そのように分類された統計情報は有益です。

downloader/request_count: 421 
downloader/response_count: 421 
downloader/response_status_count/200: 420 
downloader/response_status_count/404: 1

のでscrapyは421件のリクエストを行い、420回の有効な応答（コード200）を得ました。一度は応答がなかった（コード404）。

2017-05-23 13:12:06

詳細情報をありがとう。 –

420ページ。

これは、統計情報のdownloader/response_status_count/200フィールドから判断できます。

2017-05-23 13:07:47

ありがとうございます。 downloader/response_count：421が意味することを教えてください。 –

答えて