UnicodeDecodeError読み辞書の単語は簡単なPythonスクリプトでファイルとき

Question

初めてしばらくのPythonをやって、と私はトラブル私は、Python 3.0.1で以下のスクリプトを実行し、ファイルの簡単なスキャンを行うことを抱えているが、

with open("/usr/share/dict/words", 'r') as f: 
    for line in f: 
     pass 

私はこの例外を取得：

Traceback (most recent call last): 
    File "/home/matt/install/test.py", line 2, in <module> 
    for line in f: 
    File "/home/matt/install/root/lib/python3.0/io.py", line 1744, in __next__ 
    line = self.readline() 
    File "/home/matt/install/root/lib/python3.0/io.py", line 1817, in readline 
    while self._read_chunk(): 
    File "/home/matt/install/root/lib/python3.0/io.py", line 1565, in _read_chunk 
    self._set_decoded_chars(self._decoder.decode(input_chunk, eof)) 
    File "/home/matt/install/root/lib/python3.0/io.py", line 1299, in decode 
    output = self.decoder.decode(input, final=final) 
    File "/home/matt/install/root/lib/python3.0/codecs.py", line 300, in decode 
    (result, consumed) = self._buffer_decode(data, self.errors, final) 
UnicodeDecodeError: 'utf8' codec can't decode bytes in position 1689-1692: invalid data 

それは上に吹くファイルの行は、どのような方法では珍しいように思わない、「アルゼンチン」です。

更新：私は、オープン（）の呼び出しに

encoding="iso-8559-1" 

を追加し、それが問題を修正しました。

Answer 1

「位置1689-1692」からファイルのどの行が爆発したかはどのようにして判断しましたか？これらの数字は、デコードしようとしているチャンク内のオフセットです。あなたはそれがどんな塊であったかを判断しなければならなかっただろう - どのように？

対話プロンプトでこれを試してみてください。

buf = open('the_file', 'rb').read() 
len(buf) 
ubuf = buf.decode('utf8') 
# splat ... but it will give you the byte offset into the file 
buf[offset-50:60] # should show you where/what the problem is 
# By the way, from the error message, looks like a bad 
# FOUR-byte UTF-8 character ... interesting 

Answer 2

有効なUTF-8であることを確認できますか？それを行う方法はthis SO questionで与えられる：

iconv -f UTF-8 /usr/share/dict/words -o /dev/null 

同じことを行うために他の方法があります。