Python - Scrapy - URLのリストを取得してクロールするクローラを作成する

Question

URLのリストを取得してクロールするパッケージ "Scrapy"でスパイダーを作成しようとしています。私は答えのためにstackoverflowを検索しましたが、問題を解決する何かを見つけることができませんでした。で

• ：私は、印刷self.start_urlsながら、印刷された以下の情報を取得

  Spider = Try(urls = [r"https://www.example.com"]) 
  process = CrawlerProcess({ 
  'USER_AGENT': 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)' 
  }) 
  
  process.crawl(Spider) 
  process.start() 
  

  ：

  class Try(scrapy.Spider): 
      name = "Try" 
  
      def __init__(self, *args, **kwargs): 
       super(Try, self).__init__(*args, **kwargs) 
       self.start_urls = kwargs.get("urls") 
       print(self.start_urls) 
  
      def start_requests(self): 
       print(self.start_urls) 
       for url in self.start_urls: 
        yield Request(url , self.parse) 
  
      def parse(self, response): 
       d = response.xpath("//body").extract() 
  

  私はクモをクロールすると、次のよう

  私のスクリプトがあります__init__機能が画面に表示されます： [r "https://www.example.com "]（スパイダーに渡される）。画面上に印刷されたstart_requests機能で

• がある：なし

は、なぜ私はNoneを取得していないのですか？この問題にアプローチする別の方法はありますか？または私のクモのクラスに間違いがありますか？

ありがとうございました！

Answer 1

私は

process.crawl(Try, urls=[r"https://www.example.com"]) 

を実行すると、私は期待どおり、それはTryへurlsを送ります。さらに私はstart_requestsは必要ありません。

import scrapy 

class Try(scrapy.Spider): 

    name = "Try" 

    def __init__(self, *args, **kwargs): 
     super(Try, self).__init__(*args, **kwargs) 
     self.start_urls = kwargs.get("urls") 

    def parse(self, response): 
     print('>>> url:', response.url) 
     d = response.xpath("//body").extract() 

from scrapy.crawler import CrawlerProcess 

process = CrawlerProcess({ 
'USER_AGENT': 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)' 
}) 
process.crawl(Try, urls=[r"https://www.example.com"]) 
process.start() 

しかし、私は

spider = Try(urls = ["https://www.example.com"]) 

process.crawl(spider) 

を使用している場合、それはurlsなしTry新を実行して、リストが空であるように、それが見えます。

Answer 2

私は、process.crawlでスパイダークラスを使用し、そこにurlsパラメータを渡すことをお勧めします。

import scrapy 
from scrapy.crawler import CrawlerProcess 
from scrapy import Request 


class Try(scrapy.Spider): 
    name = 'Try' 

    def __init__(self, *args, **kwargs): 
     super(Try, self).__init__(*args, **kwargs) 
     self.start_urls = kwargs.get("urls") 

    def start_requests(self): 
     for url in self.start_urls: 
      yield Request(url , self.parse) 

    def parse(self, response): 
     d = response.xpath("//body").extract() 

process = CrawlerProcess({ 
    'USER_AGENT': 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)' 
}) 

process.crawl(Try, urls=[r'https://www.example.com']) 
process.start() 

Answer 3

だから、誰かがself.start_urlsの値が代入した後、どこに行くか知っていますか？

process.crawl（Try）を使用する場合 - スクラップは新しいTryスパイダーオブジェクトを作成しますか？