スパイダーが正常に動作しています。コード行のこの種:なぜ私は空になっていますか?メッセージ: "Scrapyを実行しているときにログ出力?
logging.info( "MyCrawlerは、URLのリストを構築しました!")
と出力メッセージ、例えばコンソールに
[root] INFO:MyCrawlerで作成されたURLのリスト!
クモを実行しているとき、私はメッセージの以下のようなものの多くを得る:
ページ/分))206件の商品/分( メッセージ3130個のアイテムを掻き0何を空行2017年8月25日午前13時40分15秒[scrapy.extensions.logstats] INFO:クロール26 ページ(時を
メッセージ:
メッセージ:
メッセージ:ページ/分)、0アイテム(AT 0アイテム/分)メッセージを掻き
メッセージ:
メッセージ:
メッセージ:
メッセージ:
2017年8月25日夜1時41分12秒[scrapy.extensions.logstats] INFO:クロール42 ページ数(16ページ/分)、削った8アイテム(8アイテム/分)メッセージ:
メッセージ:
メッセージ:
2017年8月25日13時42分05秒[scrapy.extensions.logstats] INFO:クロール241 ページ(199ページ/分)、214個のアイテムを掻き取り(206件の商品/分) 2017年8月25日13時43分05秒[scrapy.extensions.logstats] INFO:クロール381 ページ(140ページ/分)、 2017年8月25日午後01時44分(136件の商品/分で)350個の商品を掻き:05 [scrapy.extensions.logstats] INFO:クロール688 ページ(307ページ/分)、(309件のアイテム/分で)659個の商品を掻き 2017年8月25日午前13時45分05秒[scrapy.extensions.logstats ]情報:クロールされた995 ページ(307ページ/分)、スクラップ968アイテム(309アイテム/分) 2017-08-25 13:46:05 [scrapy.extensions.logsta TS] INFO:クロール1370 ページ(375ページ/分)、(/分で372件のアイテムで)1340個の商品を掻き 2017年8月25日13時47分05秒[scrapy.extensions.logstats] INFO:クロール1676 ページ(306ページ/分)、(308件のアイテム/分で)1648個の商品を掻き 2017年8月25日午後1時48分05秒[scrapy.extensions.logstats] INFO:クロール1914 ページ(238ページ/分)、2017-08-25 13:49:05 [scrapy.extensions.logstats]情報:クロールされた2189 ページ(275ページ/分)、削られた2162個のアイテム(276アイテム/分)分) 2017-08-25 13:50:05 [scrapy.extensions.logstats]情報:クロール2430 ページ(241ページ/分)、スクラップ2402個(240個/分) 2017-08-25 13:51:05 [scrapy.extensions。(scrap.extensions.logstats)INFO:クロール済み2952 ページ:2435ページ/分で2635 ページをクロールしました。2651件(249件/分) 2017-08-25 13:52:05 [scrapy.extensions.logstats] (274ページ/分)、 メッセージ(273件の商品/分で)2924個の商品を掻き:
2017年8月25日午後1時53分09秒[scrapy.extensions.logstats] INFO:クロール3166 ページ(AT
メッセージ:
メッセージん:
の意味とどのように私はそれが可視性とコンテンツのコントロールができますか?
while True:
try:
loadMoreButton = self.driver.find_element_by_xpath('//*[@id="loadMoreUpcomingPast"]')
loadMoreButton.click()
self.driver.implicitly_wait(self.delay)
except Exception as e:
print(e)
それはここではないきれいな回避策ですが、私は空のメッセージを取り除くためにやったことだ:
完全スクレーパを投稿する –
これらは、使用しているライブラリに組み込まれているデバッグメッセージの場合があります。ロギングレベルをINFOまたはERRORに変更し、違いがあるかどうか確認してください。 –
@BobEzubaのロギングは既にINFOになっていました。 ERRORに変更しました。今では「Crawled 3166 pages ...」のメッセージは消えていますが、空のメッセージはまだそこにあります。 – zinyosrim