アーカイブされたリンクを含むウェブサイトからURLを抽出します

Question

私は、ニュースウェブサイトの典型的なアーカイブされたものを含むすべてのリンクを抽出するニュースウェブサイトをクロールしています。サイトhereには、さらに多くのウェブサイトの記事を読み込むボタンがあります（View More Stories）。今

def find_urls(): 
start_url = "e.vnexpress.net/news/business" 
r = requests.get("http://" + start_url) 
data = r.text 
soup = BeautifulSoup(data, "html.parser") 
links = soup.findAll('a') 
url_list = [] 
for url in links: 
    all_link = url.get('href') 
    if all_link.startswith('http://e.vnexpress.net/news/business'): 
     url_list.append(all_link) 
return set(url_list) 

以下、このコードが正常にかなりの数のURLをロードしますが、ボタン

<a href="javascript:void(0)" id="vnexpress_folder_load_more" data-page="2" 
          data-cate="1003895"> 
          View more stories 
         </a> 

のスニペットは、誰かが私を助けることができる方法私はもっとここに読み込むんです。ありがとう。

Answer 1

セレンのようなブラウザを使用して、ボタンが消えるか無効になるまでボタンをクリックすることができます。最後に、一度にbeautifulsoupを使用してページ全体を削り取ることができます。

from selenium import webdriver 
from selenium.webdriver.common.keys import Keys 

#initializing browser 
driver = webdriver.Firefox() 
driver.set_window_size(1120, 550) 

driver.get("http://e.vnexpress.net/news/news") 

# run this till button is present 
elem = driver.find_element_by_id('vnexpress_folder_load_more')) 
elem.click()