Pythonを使用してこのサイトからすべてのデータを削る方法

Question

私はウェブスクレイピングにはまったく新しいです。私はhereのデータを削りたいと思っています。主に、その国の年、国、GDPのデータがあります。

私のコードは以下の通りです：

from urllib.request import urlopen 
from bs4 import BeautifulSoup 
data = "http://databank.worldbank.org/data/reports.aspx?source=2&series=NY.GDP.MKTP.CD&country=#" 
page = urlopen(data) 

soup = BeautifulSoup(page,'html.parser') 
name_box = soup.find('div',attrs = {'class':'canvas'}) 
name = name_box.text.strip() 

print(name) 

私はしかし、それだけで、それらのトップ10+であるデータを得ることができます。

私の質問は、データがページ自体にない場合（つまり、他の場所からインポートされた場合など）、これらの問題に対してどうすればよいのでしょうか。 入力いただきありがとうございます。

Answer 1

多くの場合、javascriptがより多くのデータをロードすると、エンドポイントへの呼び出しが行われます。

urlopen(data)に電話すると、エンドポイントへのコールが行われます。同様の呼び出しは、requests.get(data)またはrequests.post(data)を使用して、新しいバージョンのPythonで行われます。 urlopenのドキュメントには、豊富な例と用途があります。リクエストを見ると、javascriptは多くの部分（ヘッダ、パラメータ、メソッドなど）を持っています。これらの部分をurlopenのリクエストに追加して、javascriptが作成している呼び出しをコピー（模倣）することができます。

もしあなたがその呼び出しを模倣することができれば、その後の呼び出しからスープにデータをロードします。次に、データを解析できます。

あなたがその呼び出しを模倣できない場合、最善の方法はヘッドレスブラウザを使用することです。最もよく使われるのは、ドライスクラップとセレンです。私は個人的にDryscrapeを好む。

ご質問のコメントを見ると、すでにセレンを使用していることがわかります。スクロールと同様に、スクロールが行われると、通常、前に述べた後続の呼び出しが行われます。それらを完全に模倣することができれば（ヘッダ、params、qwargsなど）、あなたはブラウザにデータをロードさせることができます。

Answer 2

リンクにアクセスすると、「ダウンロードオプション」専用のメニューが表示されます。なぜそれを使用しないのですか？