中国語のテキストをPythonでファイルに書き込む方法

Question

中国語のテキストを抽出してファイルに書き込む際に問題があります。

str = "全球紧张致富豪财富缩水 贝索斯丁磊分列跌幅前两位"; 
f=open('test.txt','w'); 
f.write(str); 

上記のコードは正常に動作します。ちょっとしたことを示す下のコードでファイルに書き込んでいます。

import requests; 
from bs4 import BeautifulSoup 

f=open('data.txt','w'); 

def techSinaCrawler(): 
    url="http://tech.sina.com.cn/" 
    source_code = requests.get(url) 
    plain_text = source_code.text 
    soup = BeautifulSoup(plain_text, "html.parser") 
    for li in soup.findAll('li',{'data-sudaclick': 'yaowenlist-1'}): 
     for link in li.findAll('a'): 
      href = link.get('href') 
      techSinaInsideLinkCrawler(href);    

def techSinaInsideLinkCrawler(url): 

    source_code = requests.get(url) 
    plain_text = source_code.text 
    soup = BeautifulSoup(plain_text, "html.parser") 
    for data in soup.findAll('h1',{'id': 'main_title'}): 
     str='main_title'+':'+ data.string 
     f.write(str); 
     f.write('\n'); 

techSinaCrawler(); 

のPython 2では、ヘルプ

Answer 1

は...

ただ中国語のテキストとして出力を得るために

plain_text = source_code.text to plain_text = source_code.content 

を.contentするの.textを変更しました。

希望の結果を得ました

Answer 2

ためのおかげで、それはあなたがASCII以外のエンコーディングを扱っている場合）（codecs.open使用することをお勧めします。そうすれば、手作業でエンコードする必要はありません。あなたはファイル名に非ASCII文字を期待している場合にも、os.walk（）はUnicode文字列を渡す必要があります：

import codecs 
with codecs.open("c:/Users/me/filename.txt", "a", encoding="utf-8") as d: 
    for dir, subdirs, files in os.walk(u"c:/temp"): 
     for f in files: 
     fname = os.path.join(dir, f) 
     print fname 
     d.write(fname + "\n") 

（d.close呼び出すする必要はありません）、とのブロックはすでにの世話をしますそれ。解決