ウェブサイトからのリンク抽出

Question

WebMDからデータを抽出しようとしていますが、コードを実行すると、リベートとして「なし」を続けることになります。私が間違って何をしているのか。私はリンクの数と同じ数のリターンを持っていますが、私はリンクを得ていません。

import bs4 as bs 
import urllib.request 
import pandas as pd 


source = urllib.request.urlopen('https://messageboards.webmd.com/').read() 

soup = bs.BeautifulSoup(source,'lxml') 

for url in soup.find_all('div',class_="link"): 
    print (url.get('href')) 

Answer 1

あなたurl要素が実際にdivタグ、ないaです：

>>> x = soup.find_all('div', class_="link") 
>>> x[0] 
<div class="link"><a href="https://messageboards.webmd.com/family-pregnancy/f/relationships/">Relationships</a></div> 

あなたはhref属性を取得する前に、子を選択する必要があります。

>>> x[0].a.get('href') 
'https://messageboards.webmd.com/family-pregnancy/f/relationships/' 

はちょうどあなたのためを変更次のようにループします。

for url in soup.find_all('div',class_="link"): 
    print (url.a.get('href')) 

Answer 2

soup.find_all('div',class_="link")はすべてlinkのdiv要素を返します。

for div in soup.find_all('div',class_="link"): 
    print (div.a.get('href'))