xpath式で何が問題になっていますか？

Question

私はクラスがu-ctitleであるtdのすべてのリンクを抽出したいと思います。

import os 
import urllib 
import lxml.html 
down='http://v.163.com/special/opencourse/bianchengdaolun.html' 
file=urllib.urlopen(down).read() 
root=lxml.html.document_fromstring(file) 
namelist=root.xpath('//td[@class="u-ctitle"]/a') 
len(namelist) 

あなたが得るCA放火犯と[]、classis "U-ctitle" 非常に多くのTDがある場合の出力は、なぜそれを抽出することはできませんか？

私のpythonバージョンは2.7.9です。

ファイルを別の名前に変更することはできません。

Answer 1

あなたのXPathは正しいです。問題は無関係です。

あなたがHTMLを調べる場合は、メタタグ、次が表示されます：

<meta http-equiv="Content-Type" content="text/html; charset=GBK" /> 

そして、このコードで：

file=urllib.urlopen(down).read() 
root=lxml.html.document_fromstring(file) 

fileはこれにGBKでエンコードされたバイトからデコードを、実際にバイト配列であり、 Unicode文字列がdocument_fromstringメソッド内で発生しています。

問題は、HTMLエンコーディングが実際にGBKではなく、lxmlが間違ってデコードしてデータが失われることです。

>>> file.decode('gbk') 
Traceback (most recent call last): 
    File "down.py", line 9, in <module> 
    file.decode('gbk') 
UnicodeDecodeError: 'gbk' codec can't decode bytes in position 7247-7248: illegal multibyte sequence 

試行錯誤の結果、実際のエンコーディングはGB_18030です。スクリプトを動作させるには、バイトを手動でデコードする必要があります。

root=lxml.html.document_fromstring(file.decode('GB18030'))