クロールURLとして使用するために文字列をscrapyにインポートする

Question

私の質問は、1つの文字列でのみ設定されたURLをクロールするように、どのように言いますか？したがって、たとえば：https://www.youtube.com/watch?v=STRING 私はtxtファイルに保存された文字列を得ました。

with open("plz_nummer.txt") as f: 
    cityZIP = f.read().rsplit('\n') 

for a in xrange(0,len(cityZIP)): 

    next_url = 'http://www.firmenfinden.de/?txtPLZ=' + cityZIP[a] + '&txtBranche=&txtKunden=' 
     pass 

Answer 1

私は発電機としてstart_requests法の郵便番号の一部でファイルの読み込みになるだろう。

import scrapy 

class ZipSpider(scrapy.Spider): 
    name = "zipCodes" 
    self.city_zip_list = [] 

    def start_requests(self): 
     with open("plz_nummer.txt") as f: 
      self.city_zip_list = f.read().rsplit('\n') 
     for city_zip in self.city_zip_list: 
      url = 'http://www.firmenfinden.de/?txtPLZ={}&txtBranche=&txtKunden='.format(city_zip) 
      yield scrapy.Request(url=url, callback=self.parse) 

    def parse(self, response): 
     # Anything else you need 
     # to do in here 
     pass 

これはあなたに良い出発点を与えるはずです。また、この記事を読んでください：https://doc.scrapy.org/en/1.1/intro/tutorial.html