UnicodeDecodeErrorのpython

Question

にファイルをロードしている間、私はこの実行している：

に

news_train = load_mlcomp('20news-18828', 'train') 
vectorizer = TfidfVectorizer(encoding='latin1') 
X_train = vectorizer.fit_transform((open(f, errors='ignore').read() 
           for f in news_train.filenames)) 

を、それはUnicodeDecodeErrorを得た。 'UTF-8' コーデックは位置39でバイト0xe4をデコードすることはできません：無効な継続のバイトを。 open（）関数で呼び出されます。

news_train.filenamesを確認しました。それは：

array(['/Users/juby/Downloads/mlcomp/379/train/sci.med/12836-58920', 
     ..., '/Users/juby/Downloads/mlcomp/379/train/sci.space/14129-61228'], 
     dtype='<U74') 

パスが正しいように見えます。それはdtypeか私の環境（私はMac OSX 10.11です）かもしれませんが、何度も試してみると修正できません。ありがとうございました！！！それはhttp://scikit-learn.org/stable/auto_examples/text/mlcomp_sparse_document_classification.html#example-text-mlcomp-sparse-document-classification-py

Answer 1

まあ、私は解決策を見つけたからMLのチュートリアルです

p.s。使用する

​​

私はなぜそれが私のMacでも起こるのか分かりません。それを知りたい。

Answer 2

実際にはPython 3+では、open関数が開き、ファイルの内容をデコードするデフォルトモード'r'でファイルを読み込みます（ほとんどのプラットフォームでは、UTF-8）。ファイルはlatin1でエンコードされているため、UTF-8を使用してデコードするとUnicodeDecodeErrorが発生する可能性があります。ソリューションはバイナリモード（'rb'）でファイルを開くか、または正しいエンコーディング（encoding="latin1"）を指定しています。

open(f, 'rb').read() # returns `byte` rather than `str` 
# or, 
open(f, encoding='latin1').read() # returns latin1 decoded `str`