xmlとhtmlのページをlxmlで解析し、pythonでリクエストするパッケージ

Question

lxmlを使ってxmlとhtmlのページを解析しようとしていて、pythonでパッケージをリクエストしています。私は、この目的のために、次のコードを使用して：Pythonで

：

import requests 
import lxml.etree 
url = "" 
req = requests.get(url) 
tree = html.fromstring(req.content) 
root = tree.xpath('') 
for item in root: 
    print(item.text) 

このコードは正常に動作しますが、いくつかのWebページのためにその内容を適切に表示し、UTF-8が、私ドンをコードして設定する必要がありますすることはできませんこのコードでセットエンコーディングを追加する方法を知っている

Answer 1

requestsは、サーバーからのコンテンツを自動的にデコードします。

理解することが重要

：

r.content - まだ復号化された応答内容

r.encodingが含まれている - 応答のコンテンツのエンコーディング

r.textに関する情報が含まれています - それは、すでにのバージョンをデコードするofficial docに従ってr.content

フォロー中Unicode標準は、私がr.textに慣れるあなたはまだ

r.content.decode(r.encoding) 

を使用して手動であなたのコンテンツをデコードすることができ、それがお役に立てば幸いです。