selenium webdriverを使用してWebページをクロールする際に、サーバがロボットか人かを区別する方法はありますか？

Question

私たちのラボはウェブ会社と協力しており、ウェブクローラによってウェブページがクロールされるのを防ぐ技術を開発しました。テストウェブサイトはhttp://119.254.209.77/です。左側のページに "Checking " Python + Selenium + Firefox、私はクリック操作をシミュレートしましたが、には実際のデータではなく空白のページがあります。リンクをクリックするだけで、実際のデータを返します。私は、firefoxでselenium webdriverを使用すると、サーバーがどのようにWebクローラーであるかを知ることができますか？また、私はを知りたいと思うaviodはウェブクローラーとして扱われるそれはウェブサイトによってそれである。ここ

は私のコードです：

 

    driver = webdriver.Firefox() 
    driver.get('http://119.254.209.77/') 
    time.sleep(5) 
    pageSource = driver.page_source 
    print(driver.page_source) 

    # the target url 

    checking = driver.find_element_by_id('_ctl0__ctl0_Content_MenuHyperLink2') 

    # it seems to has no effects 
    checking.click() 
    time.sleep(2) 
    print(driver.page_source) 

Answer 1

サイトは、あなたがマウスが次のページにあなたを渡す前にあるなら場所を確認するためにチェックされるように思えます。クリックする前に要素に移動すると、私の作品：

driver = webdriver.Chrome() 
driver.get('http://119.254.209.77/') 
time.sleep(5) 
pageSource = driver.page_source 
print(driver.page_source) 
# the target url 
checking = driver.find_element_by_id('_ctl0__ctl0_Content_MenuHyperLink2') 

action_chain = webdriver.ActionChains(driver) 
action_chain.move_to_element(checking) 
action_chain.click(checking) 
action_chain.perform() 
time.sleep(2) 
print(driver.page_source)