Pythonはユニコード文字を置き換えます

Question

Windows DNSデバッグログを読み込むプログラムを作成しましたが、内部には常にドメインフィールドに面白い文字があります。以下は

は例の一つである：

(13)\xc2\xb5\xc2\xb1\xc2\xbe\xc3\xa2p\xc3\xb4\xc2\x8d(5)example(3)com(0)'

私は交換したいすべて私が明示的に入力し?

と\x..は\ XC2は作品

line = '(13)\xc2\xb5\xc2\xb1\xc2\xbe\xc3\xa2p\xc3\xb4\xc2\x8d(5)example(3)com(0)' 
re.sub('\\\xc2', '?', line) 
result: '(13)?\xb5?\xb1?\xbe\xc3\xa2p\xc3\xb4?\x8d(5)example(3)com(0)' 

しかし、そのないが、次のように私が次のように書くと働く：

re.sub('\\\x..', '?', line)

どのように正規表現を書いてそれらをすべて置き換えることができますか？

Answer 1

正規表現よりも、この仕事のためのより良いツールがありますが、あなたはたとえば試みることができるが：

>>> line 
'(13)\xc2\xb5\xc2\xb1\xc2\xbe\xc3\xa2p\xc3\xb4\xc2\x8d(5)example(3)com(0)' 
>>> line.decode('ascii', 'ignore') 
u'(13)p(5)example(3)com(0)' 

非ASCII文字をスキップします。代わりに、あなたはそれらを '？'のために入れ替えることができます。プレースホルダ：

>>> print line.decode('ascii', 'replace') 
(13)��������p����(5)example(3)com(0) 

しかし、最善の解決策は、誤ったエンコード/デコードがmojibakeが最初の場所で発生する原因を見つけることですので、あなたは正しいコードページを使用してデータを復旧することができます。

emojibake hereのベーキング解除に関する素晴らしい回答があります。それは不正確な科学であり、重要な情報の多くは実際にその答えの下のコメントスレッドにあります。

Answer 2

この点についてはどうですか？

line = '(13)\xc2\xb5\xc2\xb1\xc2\xbe\xc3\xa2p\xc3\xb4\xc2\x8d(5)example(3)com(0)' 

pattern = r'\\x.+' 
re.sub(pattern, r'?', line)