複数のCSVファイルリンクを含むWebページHTMLから特定のCSVを抽出する方法

Question

以下のHTMLページからCSVファイルを抽出する必要があります。以下は、以前の割り当てからHTMLコードの特定の行を抽出するコードです。 URLは 'https://vincentarelbundock.github.io/Rdatasets/datasets.html' です。テストコードなので、その行が見つかると一時的に破棄されます。 私のcsvの行の一部はhrefですcsv/datasets/co2.csv（ユニコードはタイプと思います）

どのようにco2.csvを開きますか？ ご質問に関する書式設定の問題についてお詫び申し上げます。コードはエディタによってスライスされ、ダイスされています。

import urllib 
url = 'https://vincentarelbundock.github.io/Rdatasets/datasets.html' 
from BeautifulSoup import * 

def scrapper(url,k): 
    c=0 
    html = urllib.urlopen(url).read() 
    soup = BeautifulSoup(html) 
#. Retrieve all of the anchor tags 
    tags = soup('a') 
    for tag in tags: 
     y= (tag.get('href', None)) 
     #print ((y)) 
     if y == 'csv/datasets/co2.csv': 
      print y 
      break 
     c= c+ 1 

     if c is k: 
      return y 
      print(type(y)) 

for w in range(29): 
    print(scrapper(url,w)) 

Answer 1

あなただけの次のcsvファイルを取得し、それはあなたがしたいですかどうかを確認するために、再度ダウンロードして、ループの30回の反復のすべてのための完全なHTMLページを再解析しています。つまり、は非常にであり、サーバーにとってあまり礼儀正しくはありません。 HTMLページを一度読んだだけで、あなたが望むタグがあるかどうかチェックしなければならないタグ​​の上にループを使用してください！そうであれば、それを使って何かを行い、特定のファイルが1つだけ必要だと言ったので、不要な処理を避けるためにループを止めてください。

あなたの質問に関連する他の問題は、htmlファイルではcsvのhrefが相対URLであることです。だからあなたは彼らが入っているドキュメントのベースURLにそれらに加わる必要があります。urlparse.urljoin()はそれだけです。

質問に直接関係はありませんが、コードをクリーンアップしてください。

• は、より良い変数名を選択し、あなたのインデント（9行にコメント）
• を修正。 y/c/k/wは無意味です。以下のようなものでは結果の

：

import urllib 
import urlparse 

url = 'https://vincentarelbundock.github.io/Rdatasets/datasets.html' 
from BeautifulSoup import * 


def scraper(url): 
    html = urllib.urlopen(url).read() 
    soup = BeautifulSoup(html) 
    # Retrieve all of the anchor tags 
    tags = soup('a') 
    for tag in tags: 
     href = (tag.get('href', None)) 
     if href.endswith("/co2.csv"): 
      csv_url = urlparse.urljoin(url, href) 
      # ... do something with the csv file.... 
      contents = urllib.urlopen(csv_url).read() 
      print "csv file size=", len(contents) 
      break # we only needed this one file, so we end the loop. 

scraper(url)