Python URLを開いてソースコードを同時に取得するにはどうすればいいですか？

Question

私がしようとしていたことは、次のとおりである。このように

1）

response = urllib2.urlopen(url) 
html = response.read() 

、私は、ブラウザでURLを開くことができません。このようにして

2）

webbrowser.open(url) 

、私は、URLのソースコードを取得することはできません。

URLを開いてソースコードを取得するにはどうすればよいですか？

ありがとうございました。

Answer 1

はBeautifulSoupを見てください：https://www.crummy.com/software/BeautifulSoup/

あなたがウェブサイトを要求し、それからHTMLのソースコードを読むことができます：

import requests 
from bs4 import BeautifulSoup 

r = requests.get(YourURL) 

soup = BeautifulSoup(r.content) 
print soup.prettify() 

JavaScriptを読みたい場合は、ヘッドレスブラウザに見えます。