ウェブサイトの一部を変更した後の募集

Question

必要なフォームを示すボタンをクリックした後、BeautifulSoupでサイトのコンテンツをスクラップする必要があります。私は、ボタンをクリックするためにSeleniumを使用しています。 つまり、既定のコンテンツを変更するいくつかの操作を行った後、ウェブサイトをスクラップする方法はわかりません。

私はこのコードを使用して、ボタンをクリックします。その後、例えば

、あなたが必要なすべてがロードされるまで、あなたは待つ

from bs4 import BeautifulSoup 
from selenium.webdriver.common.by import By 
from selenium.webdriver.support import expected_conditions as EC 
from selenium.webdriver.support.select import Select 
from selenium.webdriver.support.ui import WebDriverWait 

WebDriverWait(dr, 30).until(
    EC.presence_of_all_elements_located((By.TAG_NAME, 'select')) 
) 

をして：インポートセクションで

from bs4 import BeautifulSoup 
from selenium import webdriver 

site= "http://example.com" 

dr = webdriver.PhantomJS('./phantomjs') 
dr.get(site) 

loginButton = dr.find_element_by_xpath("//button[@ID='someId']") 
loginButton.click() 

Answer 1

をWebドライバのページソースをBeautifulSoupにフィードします

source = BeautifulSoup(dr.page_source, "html.parser")