Scrapy URLにデータを投稿

Question

私は、imdbの評価を返しているすべての映画について、http://www.regmovies.com/Theatres/Theatre-Folder/Regal-Meridian-16-1082を掻き集めることに同意しています。

fetch('http://www.regmovies.com/Theatres/Theatre-Folder/Regal-Meridian-16-1082')

response.xpath('//*[@id="content"]/div/div/div[2]/div[1]/div[7]/div[2]/div[1]/div/div[1]/h3/text()').extract()

返された値がこれは私のクモを構築するための最後のピースである>>> []空である：私は値を設定scrapyシェルから

。

Answer 1

このページで使用JavaScipeあなたはクローム開発ツールのネットワークタブでデータURLを見つけることができ、データをフェッチ：

をあなたはこのURLにScrapy Postデータを使用する必要があります。

In [9]: from scrapy.http import Request 

In [10]: r = Request(url='http://www.regmovies.com/services/MovieListings.asmx/TheatrePerformances', 
    ...:    method='POST', 
    ...:    body='{"tmsId":"AABFY","date":"Sun Mar 19 2017"}', 
    ...:    headers={'Content-Type':'application/json', 'User-Agent':'Mozilla/5.0'}) 

In [11]: fetch(r) 
2017-03-19 14:10:36 [scrapy.core.engine] DEBUG: Crawled (200) <POST http://www.regmovies.com/services/MovieListings.asmx/TheatrePerformances> (referer: None) 

In [12]: import json 

In [13]: json.loads(response.text) 

out：