python web scrapingでHTMLファイルから#documentを抽出できませんでした

Question

ブラウザの要素を調べると、私は明らかに正確なWebコンテンツを見ることができます。しかし、以下のスクリプトを実行しようとすると、Webページの詳細を見ることができません。私はスクリプトを実行している間、Webページに "#document"要素があり、それが見当たりません。 #document要素の詳細を表示したり、スクリプトで抽出するにはどうすればよいですか？

あなたにも frameページの内容を取得するために 追加の要求を行う必要があり

from bs4 import BeautifulSoup 
import requests 

response = requests.get('http://123.123.123.123/') 
soup = BeautifulSoup(response.content, 'html.parser') 
print soup.prettify() 

Answer 1

：

from urlparse import urljoin 

from bs4 import BeautifulSoup 
import requests 

BASE_URL = 'http://123.123.123.123/' 

with requests.Session() as session: 
    response = session.get(BASE_URL) 
    soup = BeautifulSoup(response.content, 'html.parser') 

    for frame in soup.select("frameset frame"): 
     frame_url = urljoin(BASE_URL, frame["src"]) 

     response = session.get(frame_url) 
     frame_soup = BeautifulSoup(response.content, 'html.parser') 
     print(frame_soup.prettify())