治療で403エラーを解決するには

Question

私は治療に新しく、私はデータをスクラップするために治療プロジェクトを作った。

私はウェブサイトのコンソールで次のコマンドをしようとしている私は、ウェブサイトからデータをscrapyしようとしているが、私は次のエラー・ログに

2016-08-29 14:07:57 [scrapy] INFO: Enabled item pipelines: 
[] 
2016-08-29 13:55:03 [scrapy] INFO: Spider opened 
2016-08-29 13:55:03 [scrapy] INFO: Crawled 0 pages (at 0 pages/min),scraped 0 items (at 0 items/min) 
2016-08-29 13:55:04 [scrapy] DEBUG: Crawled (403) <GET http://www.justdial.com/robots.txt> (referer: None) 
2016-08-29 13:55:04 [scrapy] DEBUG: Crawled (403) <GET http://www.justdial.com/Mumbai/small-business> (referer: None) 
2016-08-29 13:55:04 [scrapy] DEBUG: Ignoring response <403 http://www.justdial.com/Mumbai/small-business>: HTTP status code is not handled or not allowed 
2016-08-29 13:55:04 [scrapy] INFO: Closing spider (finished) 

を取得していますが、私は応答を得たが、私がいる時Pythonスクリプトの中で同じパスを使用すると、上で説明したエラーが発生します。 Webコンソール上

コマンド：

$x('//div[@class="col-sm-5 col-xs-8 store-details sp-detail paddingR0"]/h4/span/a/text()') 
$x('//div[@class="col-sm-5 col-xs-8 store-details sp-detail paddingR0"]/p[@class="contact-info"]/span/a/text()') 

私を助けてください。 Avihoo Mamka同様

おかげ

Answer 1

は、あなたがこのウェブサイトによって拒否されませためにいくつかの余分なリクエストヘッダを提供する必要がコメントで述べました。

この場合、それはちょうどUser-Agentヘッダーであるようです。デフォルトでは、詐欺はユーザエージェント"Scrapy/{version}(+http://scrapy.org)"でそれ自身を識別します。いくつかのウェブサイトは、この理由を理由にこれを拒否するかもしれません。

headers = {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64; rv:48.0) Gecko/20100101 Firefox/48.0'} 
yield Request(url, headers=headers) 

あなたは巨大なlist of user-agents hereを見つけることができます、あなたがFirefoxの、クロムなどのような人気のあるウェブブラウザのものに固執すべきであるにもかかわらず：これはちょうど一般的なユーザーエージェント文字列を使用してRequestのheadersパラメータを設定避けるため

。最高の結果

のためにあなたもあなたのクモstart_urlsで動作するようにそれを実装することができます

class MySpider(scrapy.Spider): 
    name = "myspider" 
    start_urls = (
     'http://scrapy.org', 
    ) 

    def start_requests(self): 
     headers= {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64; rv:48.0) Gecko/20100101 Firefox/48.0'} 
     for url in self.start_urls: 
      yield Request(url, headers=headers)