リクエストでGETをリクエストするときに完全なhtmlコードを取得できない理由

Question

なんらかの理由で、Pythonライブラリの '要求'を使用すると、GET要求にwebsiteのhtmlコードが要求されます。完全なHTMLコードは返されません。

何が起こっていますか？

import re 
import requests 

url = 'https://www.aliexpress.com/item/Dragon-Ball-Z-Mug-SON-Goku-Mug-Hot-Changing-Color-Cups-Heat-Reactive-Mugs-and-Cups/32649664569.html' 

mess = requests.get(url) 

print(mess.text, '\n', '_'*20) 

approved = [] 
images = re.findall(r'(?<=src=")[a-zA-Z0-9 \/\\,._-]+(?=")', mess.text) 

for image in images: 
    print(image) 
    base, ext = image.rsplit('.', 1) 

    if ext == 'png' or ext == 'jpg' or ext == 'JPG': 
     approved.append(image) 

出力：

---

//u.alicdn.com/js/aplus_ae.js 
//i.alicdn.com/ae-header/20170208145626/buyer/front/ae-header.js 

この写真がjpgである属性 'SRC' と 'IMG' タグが存在することを示しています。しかし何らかの理由で、出力には取り込まれません。 HTMLコンテンツから要素を取得するために

Answer 1

、などlxmlの、BeautifulSoup、として利用できる非常に洗練されたモジュール

があるあなたは速いのようなBeautifulSoup何かよりも桁違いであるこれを達成するためにlxmlのを使用することができますこの：

['https://ae01.alicdn.com/kf/HTB16NR_MpXXXXa5XpXXq6xXFXXX0/Dragon-Ball-Z-Mug-SON-Goku-Mug-Hot-Changing-Color-Cups-Heat-Reactive-Mugs-and-Cups.jpg_640x640.jpg'] 

：

from lxml import html 
import requests 

url = 'https://www.aliexpress.com/item/Dragon-Ball-Z-Mug-SON-Goku-Mug-Hot-Changing-Color-Cups-Heat-Reactive-Mugs-and-Cups/32649664569.html' 

mess = requests.get(url).content 

root = html.fromstring(mess) 
print(root.xpath('//a[@class="ui-image-viewer-thumb-frame"]/img/@src')) 

これはになります

Ypuはさらなる調査のために​​を参照することができます。