Page HTMLを掻き集めて、Seleniumの次のリンクに従う方法

Question

私は調査のためにウェブサイトを掻き回そうとしています。スクレーパーにページソースを読み込ませ、それをローカルのHTMLファイルに追加して、キャンパス外のデータを分析できるようにします。私はBeautifulSoupとScrapyを試しましたが、私はSeleniumを使用して、私の大学の認証システムをナビゲートするページとやりとりする必要があることを発見しました。

スクリプトを実行すると、そのページに移動してリンクをクリックしますが、最初のページのHTMLのみが保存されます（このコードは私の質問に接しているからです）。次に、リンクをクリックするたびにそのページのHTMLを複製して追加します。

Seleniumを使用して次のページのリンクをクリックし、HTMLをスクラップし、最後のページに到達するまでファイルに保存するにはどうすればよいですか？

編集：exceptにAttributeErrorを追加し、次のエラーを受け取りました。

selenium.common.exceptions.StaleElementReferenceException：メッセージ：参照 古い要素：要素はページの文書に添付されていないが

私の仮定は、私が理由である、.click()を遅くする必要があるということです私はもともと暗黙の待っていたが、それはトリックをやっているようではありません。

Answer 1

をsourceに割り当てる必要があります。

source = driver.page_source 

while True: 
with open("test.html", "a") as TestFile: 
    TestFile.write(source) 
    try: 
     driver.implicitly_wait(200) 
     driver.find_element_by_css_selector('li.next').click() 
     source = driver.page_source 
    except AttributeError: 
     break