ページからのJavaScript有効データの抽出

Question

linkの色付きのテキストを抽出しようとしています。私はPythonでBeautifulSoupを使用しています。コードは次のとおりです。

import time, urllib2, re 
from bs4 import BeautifulSoup 
url='http://de.vroniplag.wikia.com/wiki/Aaf/008' 
def gethtml(link): 
    time.sleep(2) 
    req = urllib2.Request(link, headers={'User-Agent': "Magic Browser"}) 
    con = urllib2.urlopen(req) 
    html = con.read() 
    return html 

soup=BeautifulSoup(gethtml(url),'html.parser') 
print soup.findAll('span', attrs={"class": re.compile('fragmark')}) 

返される結果は空です。それを動作させるにはどうすれば変更できますか？

UPDATE：次のように私はコードで、chromedriverを使用しています

：

from selenium import webdriver 
import os 

chromedriver = "./chromedriver" 
os.environ["webdriver.chrome.driver"] = chromedriver 
driver = webdriver.Chrome(chromedriver) 

driver.get('http://de.vroniplag.wikia.com/wiki/Aaf/008') 
for tag in driver.find_elements_by_css_selector('[class^=fragmark]'): 
    print(tag.text) 
driver.quit() 

しかし、ブラウザが開きます。結果は表示されません。ブラウザを閉じてエラーが発生します。

Answer 1

JavaScriptを解釈できるライブラリを使用する必要があります。たとえば、fragmark1,fragmark2などの要素は、javascriptによって作成されているため、seleniumを使用しています。

from selenium.webdriver import Chrome as Driver 
# Replace with `Chrome` with your system browser 

driver = Driver() 
driver.get('http://de.vroniplag.wikia.com/wiki/Aaf/008') 
for tag in driver.find_elements_by_css_selector('[class^=fragmark]'): 
    print(tag.text)