Amazonから一部の情報を掻き取ろうとしています。次のページリンクを実装する際に、多くのデータが欠けている

Question

class A1Spider(scrapy.Spider): 
    name = "amazon" 
    allowed_domains = ["www.amazon.com"] 
    start_urls = (
     'http://www.amazon.com/s/ref=nb_sb_noss_1?url=search-alias%3Daps&field-keywords=golf+balls', 
    ) 
def __init__(self): 
    self.page = 0 

def parse(self, response): 
    self.page += 1 
    #have to view the response from scrapy to determine the xpath. it is different from what the browser sees. 
    #xpath 
    url_x = '//*[starts-with(@id,"result_")]/div/div[3]/div[1]/a/@href' 

    url = response.xpath(url_x).extract() 
    print len(url) 

    for i in url: 
     yield scrapy.Request(i, callback=self.parse_item) 



    #next page 
    NextBottom = response.xpath('//*[@id="pagnNextLink"]/@href').extract_first() 
    NextBottom_a = response.urljoin(NextBottom) 


    # print NextBottom_a 

    # if self.page <= 1: 
    #  yield scrapy.Request(NextBottom_a) 

最後の数行は次のページを要求するために使用されます。 start_url（検索結果の最初のページ）のみを削るときは、24個のアイテムすべてが表示されます。 これらの行を使用して次のページに移動すると、最初のページのほとんどの項目が失われ、2番目のページからも削除されます。

これにはどのような理由が考えられますか？私はロボットチェックに遭遇したと思っていた。ただし、最初のページでのみ動作します。

Answer 1

私はあなたがする必要があると思う：

yield scrapy.Request(NextBottom_a, callback=self.parse, dont_filter=True) 

は、次のページを取得する - scrapyは、すでに他の場所でこのURLを呼び、あなたが実際にそれを必要としない決定しないことを確実にすることdont_filterを使用しています。