2017-08-25 10 views
0

スパイダーが正常に動作しています。コード行のこの種:なぜ私は空になっていますか?メッセージ: "Scrapyを実行しているときにログ出力?

logging.info( "MyCrawlerは、URLのリストを構築しました!")

と出力メッセージ、例えばコンソールに

[root] INFO:MyCrawlerで作成されたURLのリスト!

クモを実行しているとき、私はメッセージの以下のようなものの多くを得る:

2017年8月25日午前13時40分15秒[scrapy.extensions.logstats] INFO:クロール26 ページ(時を

メッセージ:

メッセージ:

メッセージ:ページ/分)、0アイテム(AT 0アイテム/分)メッセージを掻き

メッセージ:

メッセージ:

メッセージ:

メッセージ:

2017年8月25日夜1時41分12秒[scrapy.extensions.logstats] INFO:クロール42 ページ数(16ページ/分)、削った8アイテム(8アイテム/分)メッセージ:

メッセージ:

メッセージ:

2017年8月25日13時42分05秒[scrapy.extensions.logstats] INFO:クロール241 ページ(199ページ/分)、214個のアイテムを掻き取り(206件の商品/分) 2017年8月25日13時43分05秒[scrapy.extensions.logstats] INFO:クロール381 ページ(140ページ/分)、 2017年8月25日午後01時44分(136件の商品/分で)350個の商品を掻き:05 [scrapy.extensions.logstats] INFO:クロール688 ページ(307ページ/分)、(309件のアイテム/分で)659個の商品を掻き 2017年8月25日午前13時45分05秒[scrapy.extensions.logstats ]情報:クロールされた995 ページ(307ページ/分)、スクラップ96​​8アイテム(309アイテム/分) 2017-08-25 13:46:05 [scrapy.extensions.logsta TS] INFO:クロール1370 ページ(375ページ/分)、(/分で372件のアイテムで)1340個の商品を掻き 2017年8月25日13時47分05秒[scrapy.extensions.logstats] INFO:クロール1676 ページ(306ページ/分)、(308件のアイテム/分で)1648個の商品を掻き 2017年8月25日午後1時48分05秒[scrapy.extensions.logstats] INFO:クロール1914 ページ(238ページ/分)、2017-08-25 13:49:05 [scrapy.extensions.logstats]情報:クロールされた2189 ページ(275ページ/分)、削られた2162個のアイテム(276アイテム/分)分) 2017-08-25 13:50:05 [scrapy.extensions.logstats]情報:クロール2430 ページ(241ページ/分)、スクラップ2402個(240個/分) 2017-08-25 13:51:05 [scrapy.extensions。(scrap.extensions.logstats)INFO:クロール済み2952 ページ:2435ページ/分で2635 ページをクロールしました。2651件(249件/分) 2017-08-25 13:52:05 [scrapy.extensions.logstats] (274ページ/分)、 メッセージ(273件の商品/分で)2924個の商品を掻き:

2017年8月25日午後1時53分09秒[scrapy.extensions.logstats] INFO:クロール3166 ページ(AT

メッセージ:

ページ/分))206件の商品/分( メッセージ3130個のアイテムを掻き0何を空行

メッセージん:

の意味とどのように私はそれが可視性とコンテンツのコントロールができますか?

while True: 
    try: 
     loadMoreButton = self.driver.find_element_by_xpath('//*[@id="loadMoreUpcomingPast"]') 
     loadMoreButton.click() 
     self.driver.implicitly_wait(self.delay) 
    except Exception as e: 
     print(e) 

それはここではないきれいな回避策ですが、私は空のメッセージを取り除くためにやったことだ:

+0

完全スクレーパを投稿する –

+0

これらは、使用しているライブラリに組み込まれているデバッグメッセージの場合があります。ロギングレベルをINFOまたはERRORに変更し、違いがあるかどうか確認してください。 –

+0

@BobEzubaのロギングは既にINFOになっていました。 ERRORに変更しました。今では「Crawled 3166 pages ...」のメッセージは消えていますが、空のメッセージはまだそこにあります。 – zinyosrim

答えて

0

一方、私が発見し、セレン関連次のコードは、空のメッセージを生成するための責任があったことを

while True: 
    try: 
     loadMoreButton = self.driver.find_element_by_xpath('//*[@id="loadMoreUpcomingPast"]') 
     loadMoreButton.click() 
     self.driver.implicitly_wait(self.delay) 
    except Exception as e: 
     break 

ここで例外処理が必要かどうかはわかりません。しかし、私は掻き取りのプロセスを取って時間を壊す危険にさらされたくありませんでした。

関連する問題