私のスクレーパーが画像をダウンロードする代わりにエラーを投げる

Question

私はサイトから画像をダウンロードするためにスクレーパーを作った。しかし、これを実行すると、次のエラーが表示されます。[HTTPError（req.full_url、code、msg、hdrs、fp） urllib.error.HTTPError：HTTPエラー403]。他のサイトでもこの方法を使用して画像を掻き集めるが問題はなかった。なぜこのエラーが現れ、回避策があるのか​​分かりません。誰かがそれを調べてくれることを願っています。

import requests 
import urllib.request 
from lxml import html 

def PictureScraping(): 
    url = "https://www.yify-torrent.org/search/1080p/" 
    response = requests.get(url) 
    tree = html.fromstring(response.text) 
    titles = tree.xpath('//div[@class="movie-image"]') 
    for title in titles: 
     Pics = "https:" + title.xpath('.//img/@src')[0] 
     urllib.request.urlretrieve(Pics, Pics.split('/')[-1]) 
PictureScraping() 

Answer 1

最初のページを取得するときに使用したのと同じウェブスクレイピングセッションを使用してイメージをダウンロードする必要があります。作業コード：

import requests 
from lxml import html 


def PictureScraping(): 
    url = "https://www.yify-torrent.org/search/1080p/" 
    with requests.Session() as session: 
     response = session.get(url) 

     tree = html.fromstring(response.text) 
     titles = tree.xpath('//div[@class="movie-image"]') 
     for title in titles: 
      image_url = title.xpath('.//img/@src')[0] 
      image_name = image_url.split('/')[-1] 
      print(image_name) 
      image_url = "https:" + image_url 

      # download image 
      response = session.get(image_url, stream=True) 
      if response.status_code == 200: 
       with open(image_name, 'wb') as f: 
        for chunk in response.iter_content(1024): 
         f.write(chunk) 

PictureScraping()