Pythonのトークン化UnicodeDecodeError

Question

ので、私は

documents = unicode(documents, 'utf-8') 

別のエラー

を追加し、私はいくつかの文書をトークン化しようとしているが、私はこのエラーに

UnicodeDecodeError: 'ascii' codec can't decode byte 0xef in position 6: ordinal not in range(128)

import nltk 
import pandas as pd 

df = pd.DataFrame(pd.read_csv('status2.csv')) 
documents = df['status'] 

result = [nltk.word_tokenize(sent) for sent in documents] 

を持って、私はそれがUnicodeの問題だと思います

TypeError: coercing to Unicode: need string or buffer, Series found

print documents 

1  Brandon Cachia ,All I know is that,you're so n... 
2  Melissa Zejtunija:HAM AND CHEESE BIEX INI??? *... 
3       .........Where is my mind????? 
4  Having a philosophical discussion with Trudy D... 

Answer 1

unicodeは文字列またはバイトで動作しますが、documentsはパンダシリーズです。たぶん

：

result = [nltk.word_tokenize(unicode(sent, 'utf-8')) for sent in documents]