pythonでダウンロード可能なすべてのコンテンツをWebページからダウンロードするには？

Question

ダウンロードしたいファイルが13ページあり、何百ものファイルを手でダウンロードできないので、ダウンロード可能なすべてのファイルをpythonで入手する方法があるかどうかは疑問です。

ここにウェブサイトのURL：http://midkar.com/jazz/jazz_01.html ウェブサイトの各ページにはリンクのリストがあり、クリックするとダウンロードが開始されます。

私はこのような全13ページを経由するループのために書いた：

for i in range(1,14): 
    url = "http://midkar.com/jazz/jazz_0" + str(i) + ".html" 
    print(url) 

が、これはほとんどすべて私がやったと私はいくつかの助けをいただければ幸いです。

Answer 1

リクエストモジュールを使用してページを取得し、BeautifulSoupモジュールを使用してこれらのページのhtmlを解析して実際のリンクを取得し、それらのリンクを取得してリクエストモジュールで再度ダウンロードすることを学ぶべきです。

はあなたのために全体のコードを書くが、ここであなたが開始すべき場所であることはできません。

要求：

BeautifulSoup：https://www.crummy.com/software/BeautifulSoup/bs4/doc/

Answer 2

あなたはBeatutifulsoupとシンプルなWebクローラーを書くことができますし、リクエスト。

from bs4 import BeautifulSoup 
import requests 

for i in range(1,14): 
    url = "http://midkar.com/jazz/jazz_0" + str(i) + ".html" 
    page = requests.get(url).content 
    soup = BeautifulSoup(page, 'html5lib') 
    # find all links on page 
    links = soup.find_all('a', href=True) 
    for link in links: 
     # build absolute url 
     link_url = requests.compat.urljoin(url, link['href']) 
     if link_url.endswith('.mid'): 
      # download midi file and write it to a local file 
      filename = link_url.split('/')[-1] 
      with open(filename, 'wb') as midifile: 
       midifile.write(requests.get(href).content) 
       print(filename)