スクラップ検出タグが閉じていない

Question

スクラップされたhtmlページにSQLエラーがあり、htmlタグが閉じられていないことに気付きましたが、xpathセレクタは閉じられていないタグ内のものを検出できません。

タグを検出するにはどうすればよいですか？

おかげ

Answer 1

壊れたHTML/XMLの内容を修正しようとツールとライブラリがたくさんあります。しかしscrapyはすでに我々はまた、壊れた文書修正するためにそれを使用することができ、解析のためのlxmlライブラリ使用されているので：

from lxml import etree 
from scrapy import Selector 

def parse(self, response): 
    # lets pretend we have this unclosed <li> in our response 
    print(response.body) 
    #"<ul><li>foo</ul>" 
    # create an lxml parser with recover parameter 
    parser = etree.XMLParser(recover=True) 

    # retrieve xml document 
    broken_body = etree.tostring(response.selector.root) 
    clean_doc = etree.fromstring(broken_body, parser=parser) 
    selector = Selector(root=clean_doc) 
    selector.xpath("//li/text()").extract_first() 
    # foo