Scrapyをセットアップして1つずつクロールする方法は？

Question

Scrapyを設定し、それがまず第一に、以下の私のコードを見て一つ一つをクロールにする方法

：私はこのクモを実行したときに、それは同じmoment.Inに複数のURLをcrawed

def parse(self, response): 
     movies = Movie.query.filter(Movie.rating_num>6).all() 
     for m in movies: 
      url = "http://movie.douban.com/subject/"+str(m.id)+"/comments?sort=time&status=P" 
      yield Request(url, self.parse_comment) 

？実際には、私はこの方法で防御を行っています。だから、私は、1つずつURLを刈り取るための治療法を設定する設定があるかどうかを知りたいですか？

Answer 1

設定でCONCURRENT_REQUESTとCONCURRENT_REQUESTS_PER_DOMAINの両方を1に設定できます。