はセレンページの全負荷まで待てない

Question

Imはchromedriverと、このようなページのためseleniumを使用しようとします： http://shironet.mako.co.il/artist?type=lyrics&lang=1&prfid=202&wrkid=2473

問題は、ページが（例えばyoutubeプレーヤーをロードするための仕上げになるまでSeleniumが常に待機していることですそこ）。 私はhtmlソースでしか興味がありませんので、私はこの長い時間を待っていません。 プログラムを待機させないにはどうしたらいいですか？私はpythonを使用しています。あなたが唯一のソースコードを使用する場合は

Answer 1

いくつかの可能な解決策があります：

1）あなたはurllib didnt work for this websiteを意味するものを明確にしていないとして、あなたの代わりにpython-requestsライブラリを使用しようとすることができます：

使用pip install requestsがcmd/Terminal

url = "http://shironet.mako.co.il/artist?type=lyrics&lang=1&prfid=202&wrkid=2473" 
page_source = requests.get(url).content 

で

2）メディアファイルの自動再生を無効にしてください。Firefox Preferences：

from selenium.webdriver.firefox.firefox_profile import FirefoxProfile 

profile.set_preference("media.autoplay.enabled", False); 
driver = webdriver.Firefox(profile) 

3）その他の失礼な方法は

from selenium.webdriver.firefox.firefox_profile import FirefoxProfile 

profile.set_preference("javascript.enabled", False); 
driver = webdriver.Firefox(profile) 

（私はあなたが実際に説明した目的のためにこれを必要とするかもしれないとわからない）ページJavascriptを無効にする。しかし、それはいくつかの必要なメディアファイルを削除することができますように注意するですページソースから

Answer 2

（私はこのウェブサイトでは動作しませんでしたselenium原因urllibを使用しています）、あなたは実際にセレンはない何かを必要としないので、セレンは唯一のあなたの方法で取得します。 SeleniumでURLを削ってから、単純なHTTP GETを実行します（curlやwgetなどで、urllib2などのプログラミング言語の組み込み関数やPythonのリクエストライブラリ）

HTMLの解析、BeautifulSoupまたはLXMLを見てください。