BeautifulSoup（BS4）が、私は次のコードは、指定されたウェブサイトからのすべてのテーブルを取得しませんPythonの3.5を使用してBS4</p> <p>てる

Question

すべてのタグを見つけることができません。ページには14のテーブルがありますが、コードの戻り値は2です。何が起こっているのか分かりません。私は手動でHTMLを検査し、それがなぜ機能していないのかの理由を見つけることができません。各テーブルについて特別なものはないようです。

import bs4 
import requests 

link = "http://www.pro-football-reference.com/players/B/BradTo00.htm" 

htmlPage = requests.get(link) 
soup = bs4.BeautifulSoup(htmlPage.content, 'html.parser') 
all_tables = soup.findAll('table') 
print(len(all_tables)) 

何が起こっているのですか？

編集：私は明確にする必要があります。スープ変数を調べると、私は見たいテーブルをすべて含んでいます。 findAllメソッドを使用してスープからこれらのテーブルを抽出できないのですか？

Answer 1

このページはjavascriptでレンダリングされ、javascripを無効にすると、このページには2つのテーブルしか表示されません。 この状況でセレンを使用することをお勧めします。