utf8ファイルを保存するときにUnicodeEncodeErrorを無視する

Question

私はProject Gutenbergからダウンロードした大きな文字列を持っています。私はそれを私のコンピュータに保存しようとしていますが、UnicodeEncodeErrorを取得しています。それを修正する方法や無視する方法がわかりません。私は、ファイルの先頭にBOMを削除しようとした、

UnicodeEncodeError: 'charmap' codec can't encode character '\ufeff' in position 0: character maps to <undefined> 

まず：

from urllib import request 

# Get the text 
response = request.urlopen('http://www.gutenberg.org/files/2701/2701-0.txt') 
# Decode it using utf8 
raw = response.read().decode('utf8') 
# Save the file 
file = open('corpora/canon_texts/' + 'test', 'w') 
file.write(raw) 
file.close() 

これは私に次のエラーを与える

# We have to get rid of the pesky Byte Order Mark before we save it 
raw = raw.replace(u'\ufeff', '') 

が、私は同じエラーを取得し、別のポジション番号でちょうど：

UnicodeEncodeError: 'charmap' codec can't encode characters in position 7863-7864: character maps to <undefined> 

私はその地域で見れば、私は問題の文字を見つけることができないので、私は削除するかわからない：

raw[7850:7900] 

だけ出力します：

ようには見えません

' BALLENA,    Spanish.\r\n  PEKEE-NUEE-' 

をそれは問題になるでしょう。

file = open('corpora/canon_texts/' + 'test', 'w') 
try: 
    file.write(raw) 
except UnicodeEncodeError: 
    pass 
file.close() 

をしかし、これは私に0サイズのファイルを与え、テキスト全体をスキップ：

だから、私はtry文で悪い行をスキップしようとしました。

どうすればこの問題を解決できますか？

EDIT：

カップルの人は、 '\のufeffは' UTF-16であることを指摘しています。

# Get the text 
response = request.urlopen('http://www.gutenberg.org/files/2701/2701-0.txt') 
# Decode it using utf16 
raw = response.read().decode('utf-16') 

しかし、私はこのエラーを取得する前に、私もデータをダウンロードすることはできません：私は、UTF-16への切り替えを試みた

UnicodeDecodeError: 'utf-16-le' codec can't decode byte 0x0a in position 1276798: truncated data 

SECOND EDITを：

私もUTF-8でデコードしてみましたそれはBOMが含まれているためu'\ufeff' in Python stringで提案されているように-sigが、私はそれを保存しようとすると、私は戻って、このエラーによ：

UnicodeEncodeError: 'charmap' codec can't encode characters in position 7863-7864: character maps to <undefined> 

Answer 1

デコードや再エンコードするファイルをドロップすることができます（終了UTF-8ラインである）非常に最後の文字0x0a、とのトラブルを抱えてのように見えますそれをディスクに保存するのは無意味です。ちょうどあなたがダウンロードしたバイトを書き出し、そしてあなたは、ディスク上のファイルを持っています：

は

raw = response.read() 
with open('corpora/canon_texts/' + 'test', 'wb') as outfile: 
    outfile.write(raw) 

これは、ディスクあなたがダウンロードしたかを正確にに書き込むための唯一の信頼できる方法です。

遅かれ早かれファイルを読み込んで作業したいので、エラーを考えてみましょう。あなたは完全なスタックトレースを提供していませんでしたが（常に悪い考え方です）、エラーはの間にはデコードされません。デコードのステップは成功しました。このエラーは、file.write(raw)行に発生している必要があります。これはテキストが保存用にエンコードされています。しかし、それはどのようなエンコーディングに変換されていますか？エンコードを指定せずにfileを開いたので、誰も知らない！取得しているエンコーディングは、お住まいの地域、OS、おそらく干潮や天気予報によって異なります。要約すると、エンコーディングを指定します。

Answer 2

U + feffはUTF-16です。代わりにそれを試してください。

Answer 3

.decode(encoding="utf-8", errors="strict")は、内蔵機能としてエラー処理を提供しています：

The default for errors is 'strict' , meaning that encoding errors raise a UnicodeError . Other possible values are 'ignore' , 'replace' and any other name registered via codecs.register_error() , see section Error Handlers .

おそらく最も安全なオプションでは、何の記録を持っているので、バックスラッシュでエンコーディングエラーをエスケープします

decode("utf8", errors='backslashreplace') 

ですデコードに失敗しました。

便利なことに、Moby Dickのテキストには円記号が含まれていないため、デコードに失敗した文字を確認するのは簡単です。

このテキストの奇妙な点は、utf-8のWebサイトでは\efeffはutf-16のBOMです。 utf-16でデコード、それはあなただけで、おそらく安全にちょうど

decode("utf-16", errors='ignore')