BeautifulSoupを使用してウェブページからの詳細を読むにはどうすればいいですか

Question

私はウェブサイトからレビューを掻き集めようとしており、の「詳細を読む」のオプションを掻き集めることはできません。 私はもっと読むまでデータを得ることができます。 私はBeautifulSoupを使用しています。 何か助けていただければ幸いです。

Answer 1

セレンで与えられたクリックオプションを使用すると、もっと多くのタグやクラスを見つけてクリックすることができます。すぐにクリックすると表示されます。あなたが必要とするコンテンツをスクラップする必要があることを示しています。

Answer 2

ここでは、すべてのレビューの全文を取得する方法のデモです。それを実行し、結果を得る。実行後しばらく待ちます。これはどのリンクをクリックしなくてもできることです。

import requests ; from bs4 import BeautifulSoup 

soup = BeautifulSoup(requests.get("http://www.mouthshut.com/product-reviews/Lakeside-Chalet-Mumbai-reviews-925017044").text, "html.parser") 
for title in soup.select("a[id^=ctl00_ctl00_ContentPlaceHolderFooter_ContentPlaceHolderBody_rptreviews_]"): 
    items = title.get('href') 
    if items: 
     broth = BeautifulSoup(requests.get(items).text, "html.parser") 
     for item in broth.select("div.user-review p.lnhgt"): 
      print(item.text)