2017-06-21 15 views
0

私は現在Webクローラーで作業していますが、特定のWebサイトのdiv内にあるクラスを取得できませんでした。以下は私のコードです。私は、クラス「プロファイルの起動」を持っているH1内のテキストを抽出したいのpython3BeautifulSoup Pythonを使用してネストされたdiv内のクラスを見つける方法

import requests 
from bs4 import BeautifulSoup as bs 

response = requests.get('https://e27.co/startup/flipkart').text 
soup = bs(response, 'html.parser') 
content_div = soup.findAll('h1',class_ = 'profile-startup') 
print(content_div) 

にBeautifulSoupを使用しています。上記のコードは何も返しません。あなたは私を助けることができますか?

答えて

0

このウェブサイトはJavascriptを使用してデータを入力しています。 responseの内容を確認すると、h1が表示されません。必要な情報を取得するために、またはSeleniumのようなブラウザ自動化技術を使用してAPIを使用するかどうかを確認する必要があります。http://selenium-python.readthedocs.io/installation.html#introduction

+0

ありがとうございました!私はセレンを使ってみよう! –

関連する問題