ドメインをScrapy Webクローラーに渡す

Question

私はユーザーが最初に実行するスクリプトにURLを入力するWebクローラーを構築しています。その後、そのスクリプトは入力されたドメインでクローラーを実行します。私はいくつかのクリーニングをしていますが、プロトタイプを取得する必要があります。コードを作ったが、クローラスクリプトがURLを要求し続けるということが起こる。私はそれを入力するためにターミナルコマンドを使用してみましたが、私のコードはそれと互換性があるとは思わない。エンドユーザーが入力したドメインを別のスクリプトから渡す方が良い方法はありますか？

# First script 
import os 

def userInput(): 
    user_input = raw_input("Please enter URL. Please do not include http://: ") 
    os.system("scrapy runspider crawler_prod.py") 

# Crawler Script 

from scrapy.contrib.spiders import CrawlSpider, Rule 
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor 
from scrapy.selector import HtmlXPathSelector 
from scrapy.item import Item 
from scrapy.spider import BaseSpider 

from run_first import userInput 

userInput() 

class InputSpider(CrawlSpider): 
     name = "Input" 
     user_input = "" 
     allowed_domains = [user_input] 
     start_urls = ["http://" + user_input + "/"] 

     # allow=() is used to match all links 
     rules = [ 
     Rule(SgmlLinkExtractor(allow=()), follow=True, callback='parse_item') 
     ] 

     def parse_item(self, response): 
      x = HtmlXPathSelector(response) 
      filename = "output.txt" 
      open(filename, 'ab').write(response.url + "\n") 

端末から最初のスクリプトを実行するだけで実行できます。ドメインを変数として渡す方法を理解するのに役立つものもあります。

Answer 1

ではなくstart_urlsのstart_requestsメソッドを使用します。クモはそれが必要とするすべてのドメインを許可することができるように

def start_requests(self): 
    yield Request(url=self.user_input) 

... 

もallowed_domainsクラス変数を削除します。あなただけscrapy crawl myspider -a user_input="http://example.com"