BeautifulSoupを使用してhtmlページからリンクを抽出してください

Question

私はPiography Webサイトからいくつかの記事を抽出する必要があります。

soこのページからhttp://www.biography.com/peopleすべてのサブリンクが必要です。例えば ：

/people/ryan-seacrest-21095899 
/people/edgar-allan-poe-9443160 

が、私は二つの問題があります：私はすべての<>見つけようとしていたときに

1-。私は必要なhrefを見つけることができませんでした。

import urllib2 
from BeautifulSoup import BeautifulSoup 
url = "http://www.biography.com/people" 
text = urllib2.urlopen(url).read() 
soup = BeautifulSoup(text) 
divs = soup.findAll('a') 
for div in divs: 
    print(div) 

2「もっと見る」ボタンがあります。私はどのようにしてウェブサイトのすべての人々のためのすべてのリンクを取ることができます。最初のページに表示されるだけではありませんか？

Answer 1

あなたが見せているものは、角度をつけてコンテンツの一部をJSで生成します。 BeautifulSoupはJSを実行しません。 http://selenium-python.readthedocs.io/などの別の楽器を使用する必要があります。または、あなたがGET（またはPOSTの可能性があります）メソッドのためにajaxの必要性を詮索し、彼を介してデータを与えることができます。