pythonセレンを使用してJSからHTMLを取得

Question

divのHTMLを​​から取得しようとしています。

しかし、divの求人求職者はネットワークXHRに基づいてgranite.min.jsからロードされます。

from selenium import webdriver 
from bs4 import BeautifulSoup 
from pprint import pprint 


path_to_chromedriver = "/Users/RichWin/Documents/chromedriver.exe" 
browser = webdriver.Chrome(executable_path=path_to_chromedriver) 

driver = browser.get('https://www.workday.com/en-us/company/careers/open-positions.html#?q=') 

elem = driver.find_element_by_id('template-content') 

soup = BeautifulSoup(elem.get_text, "html.parser") 

for tag in soup.find_all('div'): 
    pprint(tag) 

助けてもらえますか？

Answer 1

あなたのコードにはいくつかの問題があります。

a）template-content divがコンテンツを読み込むまで待つ必要があります。コードでは、implicitly_waitを使用して30秒待っています。
b）find_element_by_idは、HTMLではなくSeleniumオブジェクトを返しません。したがって、解析のためにBeautifulSoupに渡すことはできません。

from pprint import pprint 
from bs4 import BeautifulSoup 
from selenium import webdriver 


url = 'https://www.workday.com/en-us/company/careers/open-positions.html#?q=' 
path_to_chromedriver = "/Users/RichWin/Documents/chromedriver.exe" 

browser = webdriver.Chrome(executable_path=path_to_chromedriver) 
browser.implicitly_wait(30) 
browser.get(url) 

elem = browser.find_element_by_id('template-content') 
elem_html = elem.get_attribute('innerHTML') 

soup = BeautifulSoup(elem_html, "html.parser") 
for tag in soup.find_all('div'): 
    pprint(tag) 

browser.quit()