Scrapyを使用したWebデータの掻き取り

Question

justdial.comをスクラップするためにscrapyを使用していますが、コードが機能していないようです。これを解決するのを手伝ってください。私はターミナルから "scrap crawl justdial -o items.csv -t csv"コマンドを実行します。

from scrapy.contrib.spiders import CrawlSpider, Rule 
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor 
from scrapy.selector import HtmlXPathSelector 
from justdial_sample.items import JustdialSampleItem 

class MySpider(CrawlSpider): 
    name = "justdial" 
    allowed_domains = ["www.justdial.com"] 
    start_urls = ["https://www.justdial.com/"] 

    rules = (Rule (SgmlLinkExtractor(allow=("index\d00\.html", 
    ),restrict_xpaths=('//p[@id="nextpage"]',)) 
    , callback="parse_items", follow=True), 
    ) 

    def parse(self, response): 
     hxs = HtmlXPathSelector(response) 
     titles = hxs.select("//p") 
     items = [] 
     for titles in titles: 
      item = JdItem() 
      item ["title"] = titles.select("a/text()").extract() 
      item ["link"] = titles.select("@/href").extract() 
      item.append(item) 
     return items 

これは私が使用したコードです。

Answer 1

出力ログを表示できる場合は、より簡単にお手伝いします。

通常、ブラウザなどのUser-Agentのように正しいヘッダーを追加する必要があります。あなたは火かき棒の中のすべてのヘッダーをチェックすることができ、あなたはスパイダーのヘッダーをチェックすることができます。

print response.request.headers 

UPDATE： あなたは

USER_AGENT = 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:45.0) Gecko/20100101 Firefox/53.0'