Pythonを使ってエンコードを処理する方法リクエストライブラリ

Question

私はずっと長い間エンコーディングに苦労していましたが、今日はメンタルブロックを大きく開いてしまいたいと思います。

今、私はRequestsを使って多数のウェブサイトをスクラップし、HTTPヘッダを使ってページが使用しているエンコーディングを把握しています。chardetのサイトのヘッダ欠けている。そこからダウンロードしたバイトコードをデコードし、r.textのユニコードオブジェクトを手助けします。

すべていいです。

print foo.encode('utf-8') 

問題は私が行うときということです：私は混乱している

しかし、そこから私は、テキスト上のいくつかの作業を行い、その後、標準出力にそれをプリントアウトし、私は印刷するときのエンコーディングを提供することですそれは、印刷されたものが台無しになっていることです。以下では、私は、単語「の判断」と「基準」の間emdashを得ることを期待：

Declaratory judgmentsStandard of review. 

は代わりに、私はそれの4つの小さな番号の箱型のものを取得します。もちろん、ここに表示されていないようですが、私は私がしなければ、私が何を得るに相当する数字が0097だと思う：

repr(foo) 
u'Declaratory judgments\x97Standard of review.' 

だから、その種類のが理にかなっているが、どこemdashですか？

プロセスがに沸く：

1. 要求はページをダウンロードし、インテリジェントIがUTF-8と印刷にそれをエンコード
3. が、私はそれで動作するUnicodeオブジェクトにテキストをデコードそれを出す。

問題はどこですか？これは私にmythical unicode sandwichのように聞こえるが、明らかに何かが欠けている。

Answer 1

あなたは何か奇妙なことをしています。 \x97は、cp1252エンコードのemdashです。 Unicode文字列では、それはU+0097 END OF GUARDED AREAです。どういうわけか、Unicodeとしてcp1252バイトを読み込んでいます。この状態にあなたを導いたコードをさらに表示し、深く掘り下げることができます。

PS：Unicodeサンドウィッチはほとんど神話ではありませんが、それは努力するのに理想的です！ :)