範囲ループがウェブスクレイプで機能しない

Question

BS4で小さなウェブスクレーパーを作成しました。コードを1ページずつスクラップできます。

import csv 
from bs4 import BeautifulSoup 
import requests 
html = requests.get("http://www.gbgb.org.uk/resultsMeeting.aspx?id=129867").text 
soup = BeautifulSoup(html,'lxml') 

このコードは、1つのページを削るが、私は時間（範囲）に複数のページをこすりしたいので、私はこのようなループのためにこれを追加してみました。

import csv 
from bs4 import BeautifulSoup 
import requests 

for ace in range(129867, 129869): 

html = requests.get("http://www.gbgb.org.uk/resultsMeeting.aspx?id= {ace}").text 

soup = BeautifulSoup(html,'lxml') 

私は、コードを実行し、私もそれが構文もwrong.Could行きました何を示唆いつも不可解なメッセージまでのいずれかを取得しない、またはそれはelse.Anyヘルプは感謝何かのときは何も起こりません。

Answer 1

ループ内のすべてを行う必要があります。また、URLにaceの値を挿入していないため、id=の後ろに余分なスペースがあります。 web-scraping sessionを設定し、get()メソッドのparamsキーワードを使用することも良い考えです。

固定バージョン：

import csv 
from bs4 import BeautifulSoup 
import requests 

with requests.Session() as session: 
    for ace in range(129867, 129869): 
     url = "http://www.gbgb.org.uk/resultsMeeting.aspx" 
     html = session.get(url, params={'id': ace}).text 
     soup = BeautifulSoup(html, 'lxml') 

（注）このコードは、ブロッキング性質のままで、一度にページ1を処理します。高速化したい場合は、Scrapy Web-Scrapingフレームワークを参照してください。