0
私はこのwebsiteのデータを削り取ろうとしています。ページは重いjavascriptを使用し、私はそれからhrefとオッズを得るために苦労しています。href、チーム、賭けサイトからのオッズを削る
私の現在の出力は次のようになります。
class BlueBet(scrapy.Spider):
name = "BlueBet"
start_urls = ['https://www.bluebet.com.au/api/sports/SportsMasterCategory?withLevelledMarkets=true&id=100']
custom_settings = {
'FEED_FORMAT': 'csv',
'FEED_URI': 'odds.csv',
'FEED_EXPORT_ENCODING': 'utf-8',
}
def parse(self, response):
data = json.loads(response.body)
for master_category in data['MasterCategories']:
for category in master_category['Categories']:
for event in category['MasterEvents']:
item = {}
item['Event_name'] = event.get('MasterEventName')
item['Outcomes'] = {}
try:
for market in event['Markets']:
item['Outcomes'][market.get('OutcomeName')] = market.get('Price')
except TypeError:
continue
yield item
サイトがJavascriptを使用して値を入力している場合は、Seleniumを使用することをおすすめします。 –
@HavanAgrawal実際には大丈夫かと思われます。 view-source:https://www.bluebet.com.au/sports/Soccer/100。私はちょうど良い要素を得るために苦労しています –
あなたがこの呼び出しに気付くかもしれないページのデータをレンダリングするためにウェブサイトを作るコールを追跡するなら:https://www.bluebet.com.au/api/sports/SportsMasterCategory? withLevelledMarkets = true&id = 100です。あなたがする必要があるのは、返されたjsonを解析することだけです。 – BoboDarph