PythonでリンクをクリックするBeautifulSoup

Question

私はPythonの新機能です（私はPHP/JavaScriptのバックグラウンドから来ています）が、を持つaタグをすべて見つけるためにウェブサイトとすべての子ページをクロールしたクイックスクリプトを作成したかっただけです。いくつの属性があるかを数えてリンクをクリックします。私はすべてのリンクを数えることができますが、リンクを "クリック"して応答コードを返す方法を理解することはできません。

from bs4 import BeautifulSoup 
import urllib2 
import re 

def getLinks(url): 
    html_page = urllib2.urlopen(url) 
    soup = BeautifulSoup(html_page, "html.parser") 
    links = [] 

    for link in soup.findAll('a', attrs={'href': re.compile("^http://")}): 
     links.append(link.get('href')) 
    return links 

anchors = getLinks("http://madisonmemorial.org/") 
# Click on links and return responses 
countMe = len(anchors) 
for anchor in anchors: 
    i = getLinks(anchor) 
    countMe += len(i) 
    # Click on links and return responses 

print countMe 

これはBeautifulSoupでも可能ですか？
また、正確なコードを探しているわけではありません。私が実際に探しているのは、関数呼び出しのための正しい方向の点などです。ありがとう！

Answer 1

BeautifulSoupは単なるDOM/HTMLパーサーであり、実際の、またはあなたのエミュレートされたブラウザを構成しません。その目的のためにChromeやSeleniumを使って実際のブラウザをエミュレートして自由にクロールすることができます。Javascriptが必要ですが、広く利用できるパッケージrequestsを使用すると、すべてのリンクを再帰的にクロールできます：

for link in links: 
    body = requests.get(link).text 

Answer 2

だからコメントから助けを借りて、私はちょうどこのようurlopen使用することを決めた：私は、if文で自分の引数を持っている

from bs4 import BeautifulSoup 
import urllib.request 
import re 

def getLinks(url): 
    html_page = urllib.request.urlopen(url) 
    soup = BeautifulSoup(html_page, "html.parser") 
    links = [] 

    for link in soup.findAll('a', attrs={'href': re.compile("^http://")}): 
     links.append(link.get('href')) 
    return links 

anchors = getLinks("http://madisonmemorial.org/") 
for anchor in anchors: 
    happens = urllib.request.urlopen(anchor) 
    if happens.getcode() == "404": 
     # Do stuff 
# Click on links and return responses 
countMe = len(anchors) 
for anchor in anchors: 
    i = getLinks(anchor) 
    countMe += len(i) 
    happens = urllib.request.urlopen(i) 
    if happens.getcode() == "404": 
     # Do some stuff 

print(countMe)