urllib.error.HTTPError：禁止されたHTTPエラー403：

Question

特定のページを掻き集めるときに "urllib.error.HTTPError：HTTP Error 403：Forbidden"というエラーが表示され、hdr = {"User-Agent': 'Mozilla/5.0"}のようなものをヘッダに追加することが解決策ですこの。

ただし、私がスクレイプしようとしているURLが別のソースファイルにある場合は、動作させることはできません。どのように/下のコードにUser-Agentを追加できますか？

from bs4 import BeautifulSoup 
import urllib.request as urllib2 
import time 

list_open = open("source-urls.txt") 
read_list = list_open.read() 
line_in_list = read_list.split("\n") 

i = 0 
for url in line_in_list: 
    soup = BeautifulSoup(urllib2.urlopen(url).read(), 'html.parser') 
    name = soup.find(attrs={'class': "name"}) 
    description = soup.find(attrs={'class': "description"}) 
    for text in description: 
     print(name.get_text(), ';', description.get_text()) 
#  time.sleep(5) 
    i += 1 

感謝:)

Answer 1

あなたはrequests

import requests 
hdrs = {'User-Agent': 'Mozilla/5.0 (X11 Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36'}  
for url in line_in_list: 
    resp = requests.get(url, headers=hdrs) 
    soup = BeautifulSoup(resp.content, 'html.parser') 
    name = soup.find(attrs={'class': "name"}) 
    description = soup.find(attrs={'class': "description"}) 
    for text in description: 
     print(name.get_text(), ';', description.get_text()) 
#  time.sleep(5) 
    i += 1 

を使用して、同じ達成することができますが、それがお役に立てば幸い！