BeautifulSoupを使用して相対的なWebサイトパスから完全なWebサイトパスを取得する方法

Question

Webクローラーを実装していますが、HTMLでリンクを解析しようとしています。私は完全なウェブサイトのパスに従うことができますが、いくつかの相対的なパスはちょっと変です。

私は、完全なパスをたどるすなわちhttp://foo.com/bar/bazと私は相対パスを追跡する方法を見つけることができた、すなわち/qux以下の機能を使用してすることができます

def baseUrl(url): 
    u = urlparse.urlparse(url) 
    return "{}://{}{}/".format(u.scheme, u.netloc, '/'.join(u.path.split('/')[:-1])) 

def fullUrl(url, parent): 
    u = urlparse.urlparse(url) 
    if u.scheme: 
     return url.split("/#")[0] 
    else: 
     return "{}{}".format(baseUrl(parent), url).split("/#")[0] 

しかし、時には、ウェブサイトのURLがhttp://foo.com/bar/bazで、 HTMLには、<a href='/bar/qux'のようなものがあります。ターゲットURLはhttp://foo.com/bar/quxである必要がありますが、私のコードはhttp://foo.com/bar//bar/quxです。

絶対パスが相対パスであることを知るために、2つのURLの間で一致する部分を特定する一般的な方法を知っている人はいますか？

Answer 1

私はいつも、それは今のところ私のために働いたことは、現在のページのURLをurljoin()を呼び出すことです：

>>> from urlparse import urljoin 
>>> urljoin("http://foo.com/bar/baz", "/bar/qux") 
'http://foo.com/bar/qux'