美しいスープはタグを見つけることができません

Question

私は現在、Python 3.6でリクエストとBeautifulSoupモジュールを使って練習しようとしています。他の質問と回答の情報を見つけることができないという問題が発生しました。

ページのある時点で、Beuatiful SoupがタグとIDの認識を停止しているようです。私はこのようなページから実況データを取得しようとしています：Chromeでインスペクタを使用して

http://www.pro-football-reference.com/boxscores/201609080den.htm

import requests, bs4 

source_url = 'http://www.pro-football-reference.com/boxscores/201609080den.htm' 
res = requests.get(source_url) 
if '404' in res.url: 
    raise Exception('No data found for this link: '+source_url) 

soup = bs4.BeautifulSoup(res.text,'html.parser') 

#this works 
all_pbp = soup.findAll('div', {'id' : 'all_pbp'}) 
print(len(all_pbp)) 

#this doesn't 
table = soup.findAll('table', {'id' : 'pbp'}) 
print(len(table)) 

、私はテーブルが間違いなく存在していることがわかります。私はまた、HTMLの後半で 'div'や 'tr'に使用しようとしましたが、うまくいかないようです。私は標準の 'html.parser'とlxmlとhtml5libを試しましたが、何も動作していないようです。

ここで何か間違っているのですか、またはHTMLやその書式設定にBeautifulSoupが正しくタグを見つけられないようなことがありますか？私はこの会社（hockey-reference.com、basketball-reference.com）が運営する同様のページで問題にぶつかりましたが、他のサイトでこれらのツールを適切に使用することができました。

HTMLと何か関係がある場合は、そこにこの情報を抽出するのに役立つツールやライブラリがありますか？

は、あなたの助けのために[OK]を BF

Answer 1

BS4は、URLのGETリクエストを実行した後、WebページのJavaScriptを実行することはできません。私は懸念のテーブルがクライアントサイドのJavaScriptから非同期に読み込まれると思います。

結果として、HTMLをスクラップする前に、クライアントサイドのJavaScriptを最初に実行する必要があります。このpostには、これを行う方法が記載されています。

Answer 2

をありがとう、私が問題だったものです。 コメントを解析しようとしています。通常のhtml要素ではありません。このような場合のために あなたは、このように、BeautifulSoupからCommentを使用する必要があります。

import requests 
from bs4 import BeautifulSoup,Comment 

source_url = 'http://www.pro-football-reference.com/boxscores/201609080den.htm' 
res = requests.get(source_url) 
if '404' in res.url: 
    raise Exception('No data found for this link: '+source_url) 

soup = BeautifulSoup(res.content,'html.parser') 

comments=soup.find_all(string=lambda text:isinstance(text,Comment)) 

for comment in comments: 
    comment=BeautifulSoup(str(comment), 'html.parser') 
    search_play = comment.find('table', {'id':'pbp'}) 
    if search_play: 
     play_to_play=search_play