ScrapyとXpathを使用したデータの掻き取り

Question

Scrapyとxpathを使用してサイトからデータをスクラップしようとしていますが、いくつか問題があります。ここに私のコードは次のとおりです。

class MaijiaSpider(scrapy.Spider): 
    name = 'maijiaSpider' 
    start_urls =["http://www.maijia.com/index.html#/item/list/?keyword=recaro"] 

    def parse(self, response): 
     articles = response.xpath("//table[@class='ui-table ui-table-striped ui-table-inbox tablefixed']//tr[1]/td[2]/div/div[1]/a/@href") 
     for article in articles: 
      yield{ 
       'link': article.xpath('.//td[2]//a/@href').extract_first() 
      } 

問題は、記事は、したがって、それはのためのサイクルに入ることはありません、常に空であることです。私は間違って何をしていますか？私は別のxpath文字列で試しましたが、何も動作していないようです。

Answer 1

データをフェッチするために、このページにJavaScriptを使用、データのURLは次のとおりです。

http://www.maijia.com/data/item/list?api_name=item_get_list&type=ALL&pageNo=1&pageSize=10&keyword=recaro&sortField=amount30&sortType=desc 

あなたはかなり長いXPath式のChromeのDevツール