URLを解析して別のURLデータを取得するスープ。

Question

URLを解析して詳細ページにリンクするURLのリストを取得する必要があります。そのページから、そのページからすべての詳細を取得する必要があります。詳細ページのURLが定期的に増分されたり変更されたりしないので、このようにする必要がありますが、イベントリストページは同じままです。基本的には

：

example.com/events/ 
    <a href="http://example.com/events/1">Event 1</a> 
    <a href="http://example.com/events/2">Event 2</a> 

example.com/events/1 
    ...some detail stuff I need 

example.com/events/2 
    ...some detail stuff I need 

Answer 1

import urllib2 
from BeautifulSoup import BeautifulSoup 

page = urllib2.urlopen('http://yahoo.com').read() 
soup = BeautifulSoup(page) 
soup.prettify() 
for anchor in soup.findAll('a', href=True): 
    print anchor['href'] 

それはあなたのURLのリストを提供します。これらのURLを繰り返し処理してデータを解析することができます。

• inner_div = soup.findAll("div", {"id": "y-shade"}) これは一例です。あなたはBeautifulSoupチュートリアルを読むことができます。
この渡って来る人々の次のグループのために

Answer 2

使用urllib2のもしてみてください、そして、リンクのリストを取得するには、美しいスープを使用して、ページを取得するscraperwiki.com

編集：

最近発見：使用BeautifulSoup through lxml

from lxml.html.soupparser import fromstring 

は、ただBeautifulSoup。それは人生の節約者であるdom.cssselect（あなたのセレクタ）を行うことができます。あなたはBeautifulSoupの良いバージョンがインストールされていることを確認してください。 3.2.1は扱います。

dom = fromstring('<html... ...') 
navigation_links = [a.get('href') for a in htm.cssselect('#navigation a')] 

Answer 3

V3は、もはや更新されているとして、BeautifulSoupは、この記事のようV4にアップグレードされていません。..

$ easy_install beautifulsoup4 

$ pip install beautifulsoup4 

Pythonで使用するには...

import bs4 as BeautifulSoup