私はPythonを使用して特定のテーブルからデータをスクラップし、複数のWebページ(コンパウンド)から同じテーブルで埋められるファイルに保存します。しかし、私はBeautifulSoupで適切なテーブルを特定するのが難しいです。ここ は、関連するHTMLコードです:ここでスクレイピング時の自動検索TimeOutエラー
Table Identifier HTML from Website
は、私のコードの関連部分である: 「自動検索:最大1
url2="https://chem.nlm.nih.gov/chemidplus/rn/50-00-0"
r=requests.get(url2)
html=r.content
soup=BeautifulSoup(html,'lxml')
print(soup.prettify())
は私だけのスクリプトを持っているHTMLを提供します3秒ごとにリロードする1. setTimeout(function(){location.reload(true);}、1100); "
私はこれが私のコードのエラーだと思っていますが、websearchはこれがなぜ現れたのか、それをどう修正するのか説明しませんでした。 *更新/結論:ページを読み込んだ後と、プログラムを遅くするためにテーブルを特定した後に、driver.implicitly_wait(3)を追加しました。エラーは複製されていません。
このサイトにはボット検出機能があり、メッセージを表示しているようです。 "3秒ごとに1件の検索" – eLRuLL
スクリプトのこの部分は、リストされている単一のWebページ上の単一のテーブルを1回だけ検索し、ページをロードした後はdriver.implicitly_wait(10)を含みます。上記のスクリプトに直接入ります。ボットスクレイプを遅くする別の方法はありますか? – HStinnett