Selenium page_sourceからスープを作成できませんか？

WhoScored.comからデータを抽出しようとしています。Selenium page_sourceからスープを作成できませんか？

私はページソースを取得するためにseleniumを使用していますが、次にBeautifulSoupを使用してDOMをナビゲートしていますが、そこから何も取得できません。

以下のコード：

#Importing the Libraries 
from selenium import webdriver 
from bs4 import BeautifulSoup #For scraping 

#Open the Home Page of WhoScored.com 

driver =webdriver.Firefox() 

driver.get('https://www.whoscored.com/') 

main_soup=BeautifulSoup(driver.page_source) 

#print main_soup 

result_tags=main_soup.select(".detailed-tournaments") 

print result_tags

私は "[]" としてresult_tagsを取得します。間違っていることを理解できません。私はまだPythonの初心者です。助けてください。

出典

2016-05-07 Lokesh Sah

を私はあなたの問題を再現することはできません。私はあなたのコードをテストし、それは完全に正常に動作します。 –

@BillalBEGUERADJここに結果の抜粋を貼り付けることはできますか？ –

それは長い結果です。ちょっと待って、それをインターネットのどこかにコピーして、それを過ぎて、あなたにリンクを教えてください。 –

壊れたパーサーのケースと思われます。多くの詳細を取得しますが、コードの下に動作しませんでした：私が使用している

main_soup=BeautifulSoup(driver.page_source,'html.parser')

：Pythonの2.7.2 BeautifulSoup 4.4.1 セレンバージョン：2.53.1

出典

2016-05-07 11:08:19

あなたはBS版を最終的にアップグレードしましたか？ –

はい。しかし、この問題は、lxmlやデフォルトのパーサーでの問題です。 HTML.parserのみが動作します。 –

lxmlは、コンテンツがレンダリングされていることを暗黙の待機でPhantomsを使って私にとってうまく動作します。 –

Selenium page_sourceからスープを作成できませんか？

答えて

関連する問題