プログラムのスパイダースパイダーにパラメータを渡すには？

Question

私はpythonとscrapyの初心者です。あなたが見ることができるように存在し、

class EPGDspider(scrapy.Spider): 
name = "EPGD" 
allowed_domains = ["epgd.biosino.org"] 
term = "man" 
start_urls = ["http://epgd.biosino.org/EPGD/search/textsearch.jsp?textquery="+term+"&submit=Feeling+Lucky"] 
MONGODB_DB = name + "_" + term 
MONGODB_COLLECTION = name + "_" + term 

def parse(self, response): 
    sel = Selector(response) 
    sites = sel.xpath('//tr[@class="odd"]|//tr[@class="even"]') 
    url_list = [] 
    base_url = "http://epgd.biosino.org/EPGD" 

    for site in sites: 
     item = EPGD() 
     item['genID'] = map(unicode.strip, site.xpath('td[1]/a/text()').extract()) 
     item['genID_url'] = base_url+map(unicode.strip, site.xpath('td[1]/a/@href').extract())[0][2:] 
     item['taxID'] = map(unicode.strip, site.xpath('td[2]/a/text()').extract()) 
     item['taxID_url'] = map(unicode.strip, site.xpath('td[2]/a/@href').extract()) 
     item['familyID'] = map(unicode.strip, site.xpath('td[3]/a/text()').extract()) 
     item['familyID_url'] = base_url+map(unicode.strip, site.xpath('td[3]/a/@href').extract())[0][2:] 
     item['chromosome'] = map(unicode.strip, site.xpath('td[4]/text()').extract()) 
     item['symbol'] = map(unicode.strip, site.xpath('td[5]/text()').extract()) 
     item['description'] = map(unicode.strip, site.xpath('td[6]/text()').extract()) 
     yield item 

    sel_tmp = Selector(response) 
    link = sel_tmp.xpath('//span[@id="quickPage"]') 

    for site in link: 
     url_list.append(site.xpath('a/@href').extract()) 

    for i in range(len(url_list[0])): 
     if cmp(url_list[0][i], "#") == 0: 
      if i+1 < len(url_list[0]): 
       print url_list[0][i+1] 
       actual_url = "http://epgd.biosino.org/EPGD/search/"+ url_list[0][i+1] 
       yield Request(actual_url, callback=self.parse) 
       break 
      else: 
       print "The index is out of range!" 

：ここ

# list of crawlers 
TO_CRAWL = [DmozSpider, EPGDspider, GDSpider] 

# crawlers that are running 
RUNNING_CRAWLERS = [] 

def spider_closing(spider): 
    """ 
    Activates on spider closed signal 
    """ 
    log.msg("Spider closed: %s" % spider, level=log.INFO) 
    RUNNING_CRAWLERS.remove(spider) 
    if not RUNNING_CRAWLERS: 
     reactor.stop() 

# start logger 
log.start(loglevel=log.DEBUG) 

# set up the crawler and start to crawl one spider at a time 
for spider in TO_CRAWL: 
    settings = Settings() 

    # crawl responsibly 
    settings.set("USER_AGENT", "Kiran Koduru (+http://kirankoduru.github.io)") 
    crawler = Crawler(settings) 
    crawler_obj = spider() 
    RUNNING_CRAWLERS.append(crawler_obj) 

    # stop reactor when spider closes 
    crawler.signals.connect(spider_closing, signal=signals.spider_closed) 
    crawler.configure() 
    crawler.crawl(crawler_obj) 
    crawler.start() 

# blocks process; so always keep as the last statement 
reactor.run() 

は私のスパイダーコードです：私はapp.Hereがコードであるフラスコ中に私のクモを実行するには、このブログRunning multiple scrapy spiders programmatically方法を使用しましたパラメータterm = 'man'は私のコードであり、それは私のstart urlsの一部です。私はこのパラメータを固定したくないので、どうすればstart urlやパラメータtermを私のプログラムに動的に与えることができますか？

class MySpider(BaseSpider): 

    name = 'my_spider'  

    def __init__(self, *args, **kwargs): 
     super(MySpider, self).__init__(*args, **kwargs) 

     self.start_urls = [kwargs.get('start_url')] 
And start it like: scrapy crawl my_spider -a start_url="http://some_url" 

を誰がどのようにこの問題に対処する方法を教えてもらえます：ちょうど、コマンドラインでクモを実行しているような方法は、以下のようにパラメータを渡すことができますがありますか？

Answer 1

まず、スクリプト内で複数のスパイダーを実行するには、scrapy.crawler.CrawlerProcess,を使用し、スパイダー・インスタンスを使用しないことをお勧めします。

CrawlerProcessを使用してスパイダーに引数を渡すには、 のように、.crawl()呼び出しに、スパイダーサブクラスの後に引数を追加するだけです。

process.crawl(DmozSpider, term='someterm', someotherterm='anotherterm') 

引数は最後に、代わりに__init__でstart_urlsを構築する、あなたはstart_requestsと同じことを達成することができます（コマンドライン上-a term=sometermと同じ）クモの属性として利用可能です

このように合格し、そしてあなたself.termを使用して、このような初期の要求を構築することができます。

def start_requests(self): 
    yield Request("http://epgd.biosino.org/" 
        "EPGD/search/textsearch.jsp?" 
        "textquery={}" 
        "&submit=Feeling+Lucky".format(self.term))