ブラウザを開かずにウェブサイトのデータをスクラップする（python）

Question

ウェブページの検索ボタンから30以上のアイテムを繰り返し検索し、関連するデータをスクレープします。

私の検索項目をリストに格納されます。検索が完了vol_list

from selenium import webdriver 
from selenium.webdriver.common.keys import Keys 
driver = webdriver.Chrome("driver path") 
driver.get("web url") 

for item in vol_list : 
mc_search_box = driver.find_element_by_name("search_str") 
mc_search_box.clear() 
search_box.send_keys(item) 
search_box.send_keys(Keys.RETURN) 

後、私は、各項目のデータを廃棄し、配列/リストに保存する続行されます。 ループ内のすべての項目に対してブラウザを開かずにこのプロセスを繰り返すことはできますか？

Answer 1

クロムなどのブラウザを使用せずに開くことはできません。

あなたの場合、ヘッドレスブラウザが必要です。ヘッドレスブラウザはブラウザをシミュレートしますが、GUIはありません。

ghostドライバ/ htmlユニットドライバ/ NodeJSを試してください。次に、使用するドライバで少なくともこの行を変更する必要があります：

driver = webdriver.Chrome("driver path") 

幸運！