Pythonを使って拡張asciiを削除するには？

Question

PML（Palm Markup Language）ファイルを修正しようとすると、テストファイルに非ASCII文字が含まれているため、MakeBookがエラーを発するように見えます。解決策は、PML内のすべての非ASCII文字を取り除くことです。

だからpythonでこの問題を解決しようとする中で、私は

import unicodedata, fileinput 

for line in fileinput.input(): 
    print unicodedata.normalize('NFKD', line).encode('ascii','ignore') 

を持っているが、これはラインが「ユニコードではなく、STR」でなければならないというエラーになります。ここにファイルの断片があります。

\B1a\B \tintense, disordered and often destructive rage†.†.†.\t 

この時点で正しく処理するにはラインを正しく渡す方法が不明です。

Answer 1

Pythonのファイルから読み込むときは、Python 2.x以前ではバイト文字列を取得しています（別名「str」）。 decodeメソッドを使用して、これらを「unicode」タイプに変換する必要があります。例：

line = line.decode('latin1') 

'latin1'を正しいエンコードに置き換えます。

Answer 2

試してみてください。print line.decode('iso-8859-1').encode('ascii', 'ignore') - あなたが望むものにはるかに近いはずです。

Answer 3

あなたはASCIIエンコードされたデータとしてlineを扱うしたいと思いますので、答えはアスキーコーデックを使用してテキストにそれを解読することです：

line.decode('ascii')

これは実際にはないデータのためにエラーが発生しますASCIIエンコードされます。これは、これらのエラーを無視する方法です。

line.decode('ascii', 'ignore')。

これは、unicodeインスタンスの形式のテキストを提供します。あなたではなくテキストではなく（ASCIIでエンコードされた）データを扱うならば、あなたはそれが（パイソンのバージョンによって異なります）strまたはbytesインスタンスを取り戻すために再エンコードしてもよい：

line.decode('ascii', 'ignore').encode('ascii')

Answer 4

削除するには非ASCII文字はline.decode(your_file_encoding).encode('ascii', 'ignore')を使用します。しかし、おそらくあなたはより良い彼らのためにPLMのエスケープシーケンスを使用したい：

import re 

def escape_unicode(m): 
    return '\\U%04x' % ord(m.group()) 

non_ascii = re.compile(u'[\x80-\uFFFF]', re.U) 

line = u'\\B1a\\B \\tintense, disordered and often destructive rage\u2020.\u2020.\u2020.\\t' 
print non_ascii.sub(escape_unicode, line) 

これは\B1a\B \tintense, disordered and often destructive rage\U2020.\U2020.\U2020.\tを出力します。

正規表現で非ASCIIおよび制御文字を削除することはあまりにも簡単です（これは安全に脱出した後に使用することができます）：

regexp = re.compile('[^\x09\x0A\x0D\x20-\x7F]') 
regexp.sub('', line)