バイナリファイルのutf-8コードをpythonのhtmlコードに変換する方法3

Question

私が扱っているHTMLファイルは一般にutf-8ですが、いくつかの壊れたエンコーディングがあり、Unicodeに変換できません。私の考えは、バイナリとしてそれらを解析し、最初のステップで、すべての適切なutf-8エンコーディングをhtmlコードで置き換えることです。

e.g. "\xc2\xa3" to £ 

2番目の手順では、壊れたエンコードを適切なものに置き換えます。

私は最初のステップで立ち往生しました。単一の文字を置換すると、次のように置換されます。

テーブルからのコードマッピングの取得は機能しません。テーブルを読むとき、utf-8コードはエスケープされます（b '\ xc3 \ x84'）。二重スラッシュを取り除く方法が見つかりません。

私はこの問題を解決するいくつかの汚い方法を考えることができますしかし、それをきれいなものがなければならないべきか？

Answer 1

最善の方法は、いずれかのプレフィルタ、彼らにある

iconv -t utf8 -c SRCFILE > NEWFILE 

やPythonで

with open("somefile_with_bad_utf8.txt","rt",encoding="utf-8",errors="ignore") as myfile: 
for line in myfile: 
    process() 

私はいつも言ってUTF-のためのpython3を使用するつもりでした8しかし、私はあなたがいると思う既に。

希望のこと....