PythonでASP Webページをスクラップする方法は？

Question

In this video, I give you a look at the dataset I want to scrape/take from the web. Very sorry about the audio, but did the best with what I have.何千ページものページがあり、明らかにテーブルを持っているので、pd.read_htmlは動作しません。それは私にヒットするまでは、このページでは、学期を選択するために、そうすることで、数千人の何千もの時に表示されることができます。このリンクに行く最初に記入する形式....

https://opir.fiu.edu/instructor_eval.asp

を持っていますテーブルの私は、HTMLを読むことを望む学期を選択した後にURLを使用しようとしましたが、そのような運はありません。私はまだ私が見ているものは分かりません（Webページですか、ASPですか？ ASP？）。ビデオのリンクをたどった場合、春学期を選択してリンクをコピーして検索バーに入れると、醜いエラーが表示されます。いくつかのSQLエラー。 これは私のジレンマです。私はこのデータを取得しようとしています...これらのテーブルすべて。私が最後に作ったポストは、クリックして10分以上ドラッグしてから、エクセルに貼り付けるだけで、それらを手に入れようとしていました。それはそれを行うひどい方法です、そして、データが非常に扱いにくかったので、私がそのExcelシートをPythonにインポートしたときには、特に有用ではありませんでした。非常に構造化されていない。だから、私は、ちょっと、なぜbs4で掻き集めていないと思ったのですか？それほど簡単ではありませんが、URLが機能しないためです。春学期にフィルタリングした後、URLはちょうどあなたのためではなく、bs4用のpythonに貼り付けるだけでは機能しません。 だから、このデータ。私はbs4でそれを削り取り、後で操作するためにデータフレームに入れたいと思う。しかし、それがASPなのか、それが何であれ、私はまだそれを行う方法を見つけることができません：\

Answer 1

ASPはActive Server Pagesの略であり、サーバサイドスクリプト（通常はvbs）を実行するページです。レンダリングされたページからデータを削りたいと思っています。
/instructor_evals/instr_eval_result.aspから有効な応答を得るには、フォームデータが/instructor_eval.aspのPOST要求を提出する必要があります。それ以外の場合、ページにエラーメッセージが返されます。
urllibで正しいデータを提出すれば、bs4でテーブルを取得できるはずです。ところで

from urllib.request import urlopen, Request 
from urllib.parse import urlencode 
from bs4 import BeautifulSoup 

url = 'https://opir.fiu.edu/instructor_evals/instr_eval_result.asp' 
data = {'Term':'1171', 'Coll':'%', 'Dept':'','RefNum':'','Crse':'','Instr':''} 
r = urlopen(Request(url, data=urlencode(data).encode())) 
html = r.read().decode('utf-8', 'ignore') 
soup = BeautifulSoup(html, 'html.parser') 
tables = soup.find_all('table') 

は、このエラーメッセージは、ページが非常に厄介なバグであるSQL Injectionに対して脆弱であることを強く示唆し、私はあなたがそれについて管理者に知らせるべきだと思います。