Githubページからデータをスクラップしようとしています

Question

誰かがこれに間違っていることを教えてください。 JSONファイルにgithubページをスクラップし、 "scrap crawl gitrendscrap -o test.json"コマンドを使用して保存しようとしています。それはjsonファイルを作成しますが、それは空です。私はscrapyシェルで個々のresponse.cssファイルを実行しようとしました。それは完璧に働いています。しかし、いくつかの理由でそれはクモで働いていません。何か間違っていると教えてください。ありがとうございました。

import scrapy 


class gitrendscrap(scrapy.Spider): 
    name = "gitrendscrap" 
    start_urls = [ 
     'https://github.com/google', 
    ] 

    def parse(self, response): 
     toplanguages = response.css("div.simple-box a span.mr-2::text").extract() 
     titles=response.css("div.org-repos li.col-12 div.d-inline-block a::text").extract() 
     description=response.css("div p.col-9::text").extract() 
     language = response.css("div.f6 span.mr-3::text").extract() 

     for ele in toplanguages: 
      ele = ele.encode('ascii','ignore').strip() 

     for ele in titles: 
      ele= ele.encode('ascii','ignore').strip() 

     for ele in description: 
      ele = ele.encode('ascii','ignore').strip() 

     for ele in language: 
      ele = ele.encode('ascii','ignore').strip() 

     yield{ 
       'title': titles, 
       'description':description, 
       'language': language, 
       'toplanguage': toplanguages, 
     } 

     next_page = response.css('div.paginate-container a::attr(href)').extract_first() 
     if next_page is not None: 
      next_page = response.urljoin(next_page) 
      yield scrapy.Request(next_page, callback=self.parse) 

ここに私のスパイダーのターミナル出力があります。

2017-01-18 02:29:45 [scrapy.utils.log] INFO: Scrapy 1.3.0 started (bot: gitrendscrap) 
2017-01-18 02:29:45 [scrapy.utils.log] INFO: Overridden settings: {'NEWSPIDER_MODULE': 'gitrendscrap.spiders', 'FEED_URI': 'asd.json', 'SPIDER_MODULES': ['gitrendscrap.spiders'], 'BOT_NAME': 'gitrendscrap', 'ROBOTSTXT_OBEY': True, 'FEED_FORMAT': 'json'} 
2017-01-18 02:29:45 [scrapy.middleware] INFO: Enabled extensions: 
['scrapy.extensions.feedexport.FeedExporter', 
'scrapy.extensions.logstats.LogStats', 
'scrapy.extensions.telnet.TelnetConsole', 
'scrapy.extensions.corestats.CoreStats'] 
2017-01-18 02:29:45 [scrapy.middleware] INFO: Enabled downloader middlewares: 
['scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware', 
'scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware', 
'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware', 
'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware', 
'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware', 
'scrapy.downloadermiddlewares.retry.RetryMiddleware', 
'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware', 
'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware', 
'scrapy.downloadermiddlewares.redirect.RedirectMiddleware', 
'scrapy.downloadermiddlewares.cookies.CookiesMiddleware', 
'scrapy.downloadermiddlewares.stats.DownloaderStats'] 
2017-01-18 02:29:45 [scrapy.middleware] INFO: Enabled spider middlewares: 
['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware', 
'scrapy.spidermiddlewares.offsite.OffsiteMiddleware', 
'scrapy.spidermiddlewares.referer.RefererMiddleware', 
'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware', 
'scrapy.spidermiddlewares.depth.DepthMiddleware'] 
2017-01-18 02:29:45 [scrapy.middleware] INFO: Enabled item pipelines: 
[] 
2017-01-18 02:29:45 [scrapy.core.engine] INFO: Spider opened 
2017-01-18 02:29:45 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min) 
2017-01-18 02:29:45 [scrapy.extensions.telnet] DEBUG: Telnet console listening on 127.0.0.1:6023 
2017-01-18 02:29:46 [scrapy.core.engine] DEBUG: Crawled (200) <GET https://github.com/robots.txt> (referer: None) 
2017-01-18 02:29:46 [scrapy.downloadermiddlewares.robotstxt] DEBUG: Forbidden by robots.txt: <GET https://github.com/google> 
2017-01-18 02:29:46 [scrapy.core.engine] INFO: Closing spider (finished) 
2017-01-18 02:29:46 [scrapy.statscollectors] INFO: Dumping Scrapy stats: 
{'downloader/exception_count': 1, 
'downloader/exception_type_count/scrapy.exceptions.IgnoreRequest': 1, 
'downloader/request_bytes': 218, 
'downloader/request_count': 1, 
'downloader/request_method_count/GET': 1, 
'downloader/response_bytes': 1381, 
'downloader/response_count': 1, 
'downloader/response_status_count/200': 1, 
'finish_reason': 'finished', 
'finish_time': datetime.datetime(2017, 1, 18, 9, 29, 46, 320372), 
'log_count/DEBUG': 3, 
'log_count/INFO': 7, 
'response_received_count': 1, 
'scheduler/dequeued': 1, 
'scheduler/dequeued/memory': 1, 
'scheduler/enqueued': 1, 
'scheduler/enqueued/memory': 1, 
'start_time': datetime.datetime(2017, 1, 18, 9, 29, 45, 755711)} 
2017-01-18 02:29:46 [scrapy.core.engine] INFO: Spider closed (finished) 

Answer 1

詳細については、デバッグ情報を見てください。

このライン：

2017-01-18 02:29:46 [scrapy.downloadermiddlewares.robotstxt] DEBUG: Forbidden by robots.txt: <GET https://github.com/google> 

はhttps://github.com/robots.txtがhttps://github.com/googleをクロールするためにあなたを禁止されたことを語っています。 GitHubが明示的に許可していないので、あなたはそれを許可されていません。 Scots Crawlersは良いロボットであり、robots.txtに従います。虐待のロボットを無視する方法がありますが、倫理的に疑わしいので、どうやって行うのか教えていません。

EDIT：あなたが望むレポでflexbox-layoutを代入し、

Allow: /*/*/tree/master 
Allow: /*/*/blob/master 

ですから、クロールしようとすることができ、例えば、https://github.com/google/flexbox-layout/tree/master/：私はrobots.txtのは、以下のことができますことを指摘しなければなりません。

また、support@github.comに書き込んだり、robots.txtが示唆するようにAPIを使用したりすることもできます。