Pythonを使用してソースコードを返さないウェブサイトをどうやって削り取るのですか？

Question

私は、次のWebサイトからオーストラリア証券取引所の企業によって行われた発表のための「ASXコード」をこすりしようとしています：http://www.asx.com.au/asx/statistics/todayAnns.do

これまでのところ、私は次のコードでBeautifulSoupを使って試してみました：

import requests 
from bs4 import BeautifulSoup 
response = requests.get('http://www.asx.com.au/asx/statistics/todayAnns.do') 
parser = BeautifulSoup(response.content, 'html.parser') 
print(parser) 

しかし、これを印刷すると、手動でページに移動してページソースを表示したときと同じように印刷されません。私はいくつかのグーグルを行って、stackoverflowを見て、これは、HTMLコードを隠すページで実行されているJavascriptによると信じています。

しかし、私はこれを回避する方法を確信しています。どんな助けでも大歓迎です。

ありがとうございます。

Answer 1

これを試してください。あなたがする必要があるのは、コンテンツが動的に読み込まれていることに気付いたことがあるため、ページが読み込まれるまでスクレイパーがしばらく待つだけで済むようにするだけです。ただし、実行すると、そのWebページからテーブルの左側のヘッダーが取得されます。

import time 
from bs4 import BeautifulSoup 
from selenium import webdriver 

driver = webdriver.Chrome() 
driver.get('http://www.asx.com.au/asx/statistics/todayAnns.do') 
time.sleep(8) 

soup = BeautifulSoup(driver.page_source,"lxml") 
for item in soup.select('.row'): 
    print(item.text) 
driver.quit() 

部分的な結果：

RLC 
RNE 
PFM 
PDF 
HXG 
NCZ 
NCZ 

はところで、私が書かれてのpython 3.5を使用してこのコードを実行してきました。したがって、セレンをバインドする際には最新のPythonのバージョンで問題はありません。