2017-08-03 25 views
0
Scrapyを設定し、それがまず第一に、以下の私のコードを見て一つ一つをクロールにする方法

:私はこのクモを実行したときに、それは同じmoment.Inに複数のURLをcrawedScrapyをセットアップして1つずつクロールする方法は?

def parse(self, response): 
     movies = Movie.query.filter(Movie.rating_num>6).all() 
     for m in movies: 
      url = "http://movie.douban.com/subject/"+str(m.id)+"/comments?sort=time&status=P" 
      yield Request(url, self.parse_comment) 

?実際には、私はこの方法で防御を行っています。だから、私は、1つずつURLを刈り取るための治療法を設定する設定があるかどうかを知りたいですか?

答えて

関連する問題