2016-12-27 12 views
0

私はPythonを使用して特定のテーブルからデータをスクラップし、複数のWebページ(コンパウンド)から同じテーブルで埋められるファイルに保存します。しかし、私はBeautifulSoupで適切なテーブルを特定するのが難しいです。ここ は、関連するHTMLコードです:ここでスクレイピング時の自動検索TimeOutエラー

Table Identifier HTML from Website

は、私のコードの関連部分である: 「自動検索:最大1

url2="https://chem.nlm.nih.gov/chemidplus/rn/50-00-0" 
r=requests.get(url2) 
html=r.content 

soup=BeautifulSoup(html,'lxml') 
print(soup.prettify()) 

は私だけのスクリプトを持っているHTMLを提供します3秒ごとにリロードする1. setTimeout(function(){location.reload(true);}、1100); "

私はこれが私のコードのエラーだと思っていますが、websearchはこれがなぜ現れたのか、それをどう修正するのか説明しませんでした。 *更新/結論:ページを読み込んだ後と、プログラムを遅くするためにテーブルを特定した後に、driver.implicitly_wait(3)を追加しました。エラーは複製されていません。

+1

このサイトにはボット検出機能があり、メッセージを表示しているようです。 "3秒ごとに1件の検索" – eLRuLL

+0

スクリプトのこの部分は、リストされている単一のWebページ上の単一のテーブルを1回だけ検索し、ページをロードした後はdriver.implicitly_wait(10)を含みます。上記のスクリプトに直接入ります。ボットスクレイプを遅くする別の方法はありますか? – HStinnett

答えて

1

更新/結論:ページを読み込んだ後、プログラムを遅くするためにテーブルを特定した後に、driver.implicitly_wait(3)を追加しました。エラーは複製されていません。

関連する問題