なぜ私は美しいスープでこのタグを見つけることができないのですか？

Question

これはpythonやcomp言語には新しいですが、このコードを使ってサイトからタイトルを掻き取ろうとしていますが、タイトルやタグを置き換えた場合のように "None"存在しません。

import bs4 
from urllib.request import urlopen as uReq 
from bs4 import BeautifulSoup as soup 


my_url = "https://www.roblox.com/catalog/?CatalogContext=1&Keyword=the%20item&SortAggregation=5&LegendExpanded=true&Category=2" 
uClient = uReq(my_url) 
page_html = uClient.read() 
uClient.close() 
page_soup = soup(page_html, "html.parser") 

ttt = page_soup.find("div", {"class":"CatalogItemName notranslate"}) 
item = ttt.a.text 
print(item) 

Answer 1

あなたが探しているコンテンツは、サーバーから受信したhttp応答に含まれていません。ページが読み込まれるとjavascriptによって生成されます。

クロールタスクを実行するときは、生のHTMLコンテンツがどのように見えるかをよりよく理解するために、javascriptを使わずにブラウザにウェブサイトを読み込む必要があります。

最後に、セレンのようなjavascriptサポート付きのクローラを使用してこれを解決できます。

Answer 2

複数のクラスを使用して要素を検索する場合は、次のようにします。

soup.find("div", {'class':['CatalogItemName', 'notranslate']}) 

Answer 3

HTMLページのタイトルをしたい場合は、これが尋ねた質問に回答されていないこの

import urllib.request 
from bs4 import BeautifulSoup 
import pandas as pd 

url = "https://www.roblox.com/catalog/?CatalogContext=1&Keyword=the%20item&SortAggregation=5&LegendExpanded=true&Category=2"; 
page = urllib.request.urlopen(url); 

soup = BeautifulSoup(page, 'html.parser'); 


print(soup.title)