Scrapy：ウェブページからhtmlタグのみを抽出する方法

Question

ウェブページからhtmlタグとそのテキストのみを抽出します。

しかし、条件があります。

メタ、スクリプトタグを除外する必要があります。いずれにしても、ページ上に表示されているタグとその親タグは、ツリー構造を維持したままスクラップされなければなりません。

ありがとうございます。

Answer 1

あなたは、最も可能性の高いシンプルなxpathでそれを行うことができます。

items = response.xpath("//*[not(self::script)][not(self::meta)]") 
for item in items: 
    tag_name = item.xpath("name()").extract_first() 
    tag_text = item.xpath("text()").extract_first() 
    print(tag_name) 
    print(tag_text) 

これは、すべてのタグとそのテキストを抽出します。