Webscraperは、私が手紙にかなりのチュートリアルに従っている

Question

動作しません、と私は私のスクレーパーは、各警察署についての情報を含む特定のページへのすべてのリンクをこすりしたいが、それはサイト全体をほとんど返します。

from urllib import urlopen 
import re 

f = urlopen("http://www.emergencyassistanceuk.co.uk/list-of-uk-police-stations.html").read() 

b = re.compile('<span class="listlink-police"><a href="(.*)">') 
a = re.findall(b, f) 

listiterator = [] 
listiterator[:] = range(0,16) 

for i in listiterator: 
    print a 
    print "\n" 

f.close() 

Answer 1

このクラスには1.6kを超えるリンクがあります。

私はあなたはそれが動作していない何だと思います...それが正しく動作しないでしょうか？

---

そして、あなたは間違いなく美しいスープを使用する必要があり、それは愚かな、シンプルで非常に使用可能です。

Answer 2

あなたはHTMLを解析するために正規表現を使用しています。あなたはこの種の問題だけで終わるので、あなたはすべきではありません。最初に、.*ワイルドカードはできるだけ多くのテキストと一致します。しかし、あなたがそれを修正すると、あなたは挫折の木から別の果物を奪い取るでしょう。代わりに適切なHTMLパーサを使用してください。

Answer 3

使用BeautifulSoup

from bs4 import BeautifulSoup 
from urllib2 import urlopen 

f = urlopen("http://www.emergencyassistanceuk.co.uk/list-of-uk-police-stations.html").read() 

bs = BeautifulSoup(f) 

for tag in bs.find_all('span', {'class': 'listlink-police'}): 
    print tag.a['href']