2017-03-02 10 views
0

thisウェブページ(historical_table)の下にあるデータをクロールしたい。もし私がrequests.getを使うと、テーブルを作るためのスクリプトだけを含んでいるページのソースコードが返されます。私がそれをクロールすることを知っている唯一の方法は、selenium.webdriver(ブラウザセッションを介して)を使用することです。しかしながら、この方法はより遅い。
ブラウザセッションを開かずにスクリプトのブラウザ実行をシミュレートする方法はありますか?ブラウザの実行をシミュレートしてスクリプトを実行する

+0

http://stackoverflow.com/questions/7593611/selenium-testing-without-browserの可能な複製を確認する –

+0

いいえ、私はセレンではなく、別のツールを使いたいと思います。私はページのHTMLを取得し、スクリプトを実行する要求のようなプロセスを使用したいと思います。 –

答えて

1

これは可能ですが、私が推奨しない独自のブラウザを作成していることを意味します。代わりにhttp://phantomjs.orgのようなヘッドレスブラウザを使用してください。これらは、この方法で使用するためのものです。

関連する問題