Pythonの潜在的ディリクレ配分Stopped_tokensエラー

Question

私のコードは、コードのオフに基づいていますで：https://rstudio-pubs-static.s3.amazonaws.com/79360_850b2a69980c4488b1db95987a24867a.html

私は1000年の周りに大きなファイル番号を取得するために起動したとき、私は、私はその後、しかし、ファイル数が少ないと私のプログラムを実行することができます[私はen_stopに私は、トークンに私用でない場合]

不平等 stopped_tokensの=であるとして、それらを解釈する - Unicodeの同等比較はUnicodeに両方の引数の変換に失敗しました：

ReadWrite.py:59：UnicodeWarningこのエラーが出ます

誰かがこの前に出会ったのか、それともこのエラーをどのように修正するかについての考えはあります。

Answer 1

リストの理解の中でさまざまなタイプの変数を比較しようとしているようです。 en_stopには、Unicode変数が含まれています。あなたがファイルから読み込んでいるトークンは、utf-8、cp1251などのようなエンコーディングを持っています。トークンがどのようなエンコーディングを持っているかを判断してください。あなたは、このようにそれを行うことができます。

encoding = 'utf-8' # assign name like 'utf-8', 'cp1251', etc. 
string = tokens[0] 
try: 
    string.decode(encoding) 
    print 'string is {}'.format(encoding) 
except UnicodeError: 
    print 'string is not {}'.format(encoding) 

あなたは正しいエンコーディングを見つけ、あなたはstopped_tokensこの方法を取得することができます：

stopped_tokens = [i for i in tokens if not unicode(i, encoding) in en_stop] 

unicode(i, encoding)はあなたのリスト内包のUnicode表現に自分のトークンを変換する必要があります。