XPATHはChromeで動作しますが、Scrapy

Question

に私はこのページをこすりしようとしません：

https://www.cimbbank.com.sg/en/personal/support/help-and-support/rates-and-charges.html

print response.xpath('//tr') 

しかし、それは奇妙だ、XPATHはChromeのみ開発ツールではなく、Scrapy上で動作します。私はresponse.body経由で掻き集めたHTMLをチェックし、HTMLは正常です。

Answer 1

答えを見つけました。 HTMLが壊れていて、Scrapyがそれを独自に修正できないことが判明したので、美しいスープのヘルプが必要です。私は次のようにします：

from scrapy.selector import Selector 

from bs4 import BeautifulSoup 

fixed_html = str(BeautifulSoup(response.body, "lxml")) 

print Selector(text=fixed_html).xpath('//*')