Google App EngineのPython unicodeの動作

Question

私はgaeと完全に混同しました。私は、私たちがcp1251でエンコードされたhtmlページを受け取ったという応答として、（Google App Engine APIからurlfetchを使って）ポストリクエストを行うスクリプトを持っています。

次に、.decode（ 'cp1251'）を使ってデコードし、lxmlで解析します。

私のコードは私のローカルマシン上で完全に正常に動作します：

import re 
import leaf #simple wrapper for lxml 
weekdaysD={u'понедельник':1, u'вторник':2, u'среда':3, u'четверг':4, u'пятница':5, u'суббота':6} 
document = leaf.parse(leaf.strip_symbols(leaf.strip_accents(html_in_cp1251.decode('cp1251')))) 
table=document.get('table') 
trs=table('tr') #leaf syntax 
for tr in trs: 
    tds=tr.xpath('td') 
    for td in tds: 
     if td.colspan=='3': 
      curweek=re.findall('\w+(?=\-)', td.text)[0]    
      curday=weekdaysD[td.text.split(u',')[0]] 

が、私はそれをGAEにデプロイするとき、私は得る：

curday=weekdaysD[td.text.split(u',')[0]] 
KeyError: u'\xd0\xb2\xd1\x82\xd0\xbe\xd1\x80\xd0\xbd\xd0\xb8\xd0\xba' 

どのように非Unicode文字がすべてですか？そして、なぜすべてがローカルでOKですか？ 私のコードにデコード\エンコードのすべてのバリエーションを試しました。何も助けられませんでした。 私は数日間立ち往生しています。

UPD：私はGAE上で私のスクリプトに追加した場合も、：

print type(weekdaysD.keys()[0]), type(td.text.split(u',')[0]) 

それは 'ユニコード' との両方を返します。だから、私はhtmlが正しく解読されたと信じています。 GAEにlxmlの何かがありますか？

Answer 1

まあ、.encode（ 'latin1'）.deode（ 'utf-8'、 'ignore'）を追加するのは、このトリックでした。私はなぜそれがそうするのか説明することができたらいいと思う。

Answer 2

エラーメッセージに表示された文字列には、そのタイプのユニコードが含まれていますが、内容は実際には0xffのUTF-8エンコードになるバイトです。あなたが表示しているコードに何も問題がないので、urlfetch呼び出しを行うコードを示しておけば役に立ちます。