BeautifulSoup - Pythonを使用してページテーブルを使用してデータをスクラップする

Question

賭けサイト （https://www.pointdevente.parionssport.fdj.fr/parisouverts/rugby）でデータを削っています。

現在のページでは、限られた数のイベントをスクラップできます。私が直面している問題は、テーブルの残りのデータを掻き分けることができないということです。 次のページまたはリンクに移動するにはどうすればいいですか？続き

は私のコードです：

import urllib2 
from urllib2 import urlopen 
import requests 
import dryscrape 
from bs4 import BeautifulSoup 

dryscrape.start_xvfb() 
SessionFDJ = dryscrape.Session() 
SessionFDJ.visit('https://pointdevente.parionssport.fdj.fr/parisouverts/rugby/') 
ResponseFDJ = SessionFDJ.body() 
print(ResponseFDJ) 

Answer 1

このページでは、すべてのデータを取得し、それを変更するJavaScriptを使用しています。ブラウザで使用されているもののファイル/ URLを参照してくださいChrome/FirefoxでDevToolsを使用して、あなたはJSONとして、すべてのデータを提供します

https://www.pointdevente.parionssport.fdj.fr/api/1n2/offre?sport=964500

を参照してください。

それはとてもAPIドキュメントを見つけて、あなたは必要はありませんBeautifulSoup

---

import requests 

url = 'https://www.pointdevente.parionssport.fdj.fr/api/1n2/offre?sport=964500' 

r = requests.get(url) 

for x in data: 
    print(x['label']) 

なります。このページの使用APIを思わ：

Biarritz-Perpignan 
Kenya-France 
Australie-Japon 
Etats-Unis-Ecosse 
Argentine-Pays de Galles 
Angleterre-Samoa 
Montauban-Colomiers 
Bourgoin-Angoulême 
Aurillac-Mt-de-Marsan 
Dax-Albi 
Vannes-Béziers 
Ospreys-Edimbourg 
Glasgow-Munster 
Sale-Exeter 
Bath-Saracens 
Pau-Clermont 
Zebre-Llanelli 
Angleterre-Australie 
Connacht-Trévise 
Gloucester-Bristol 
Leicester-Northampton 
Cardiff-Ulster 
Grenoble-Montpellier 
Lyon-Castres 
St.Français-Bayonne 
Leinster-Newport 
La Rochelle-Racing 92 
Toulouse-Brive 
Narbonne-Oyonnax 
Worcester-Wasps 
Newcastle-Harlequins 
Toulon-Bordeaux 
Fidji-Canada 
NlleZélande-Russie 
Agen-Carcassonne 
AfriqueduSud-Ouganda 

Answer 2

これは、クライアントレンダリングアプリケーションですが、何もありませんあなたはurllib経由で得ることができるHTMLのテーブル情報。すべてのデータが取得され、Javascriptでレンダリングされます。それはさらに簡単です、あなたはHTMLを解析する必要はありません。それはあなたがそれを解析するためのPython jsonライブラリを使用することができ、すべてのイベントでJSONを返すhttps://www.pointdevente.parionssport.fdj.fr/api/1n2/offre?sport=964500

- ここ

は、必要なデータを持っているリンク、です。