BeautifulSoupが見つからない

Question

私はpython 2.7.12のリクエストとBeautifulSoupモジュールを使用してこのウェブスクレイピング演習を行ってきました。私の問題は、スープオブジェクトがIDに基づいて特定のtrを返すように見えないことと、idを持ついくつかの他のhtml要素が、以下のprintステートメントのものを含めてランダムに選んだことです。それがなぜ機能していないのでしょうか？どんな助けでも大歓迎です。

import requests 
from bs4 import BeautifulSoup as bs 

head= { 
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.80 Safari/537.36', 
'Content-Type': 'text/html',} 

r = requests.get('http://www.iii.co.uk/investment/detail?code=cotn:LSE:SEE&display=discussion', headers=head) 

r_text = r.text 
soup = bs(r_text, "html.parser") 

print soup.find("tr",id="disc1-12056888") 
print soup.find('table', id='discussion-list') 

Answer 1

私はhtml.parserを信じますlxmlまたはhtml5lib

soup = bs(r_text, "lxml") 

を使用し、python2不安定です

この引用はDocumentからである：

することができますならば、私はあなたがスピードのためにlxmlのをインストールして使用をお勧めします。 Python 2のバージョン2.7.3より前のバージョン、またはPython の3.2.2より前のバージョンを使用している場合は、lxmlまたは をインストールすることが不可欠です。html5lib- Pythonの組み込みHTMLパーサーは、古いのは非常に良い バージョン。

Answer 2

@AndrewF：

私はここで、抽出のコメントなどの単純なタスクのためPyQueryを使用するためにあなたをお勧めしたい、それのシンプルさを示すためのスニペットです：

import requests 
import pyquery 

head= { 
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.80 Safari/537.36', 
'Content-Type': 'text/html',} 

r = requests.get('http://www.iii.co.uk/investment/detail?code=cotn:LSE:SEE&display=discussion', headers=head) 

r_text = r.text 
pq = pyquery.PyQuery(r_text) 

for a in pq('tr.comment div'): 
    if a.text.strip(): 
     print(a.text.strip())