2012-02-01 10 views
0

私はウェブページからのデータのスクレイピングを扱っています。私がしていることは、毎日いくつかのページを「クリック」して、ページの内容を記録してさらに抽出することです。もちろん、クリックするのに数十ページと月があるので、すべてが自動化されています。通常はCookieとPOSTでcurlを使用しましたが、うまくいきました。しかし、私はいくつかの「スマートな」ページを持っています。これは、JavaScript、セッション、ブードーなどを使い、単純に掻き取られることを許さないページです。私は本当に私が欲しいものを得るためにいくつかのボタンをクリックする必要があります。ブラウザの動作をスクリプト化する - 自動化されたクリック

私はこれらのアクションを自動化したいと思います。どのような解決策(言語、プラグイン、...)をお勧めしますか?私は知っているiMacros;それに匹敵する解決策はありますか?それとも、唯一のものですか?すべてのアドバイスを

おかげで(私は途中で、Linuxで動作)

編集

関連:

答えて

1

私はWatirとRubyをお勧めします。クロスプラットフォームとクロスブラウザを使用するのは本当に簡単です。もちろん、それは本当に良いドキュメントを持っています。

ルビーはここにダウンロードできます:http://www.ruby-lang.orgまたは私の場合はapt-getをお勧めします。

そして、ここでワチール:http://watir.com/が、そのeasyerは、インストールとアップデートRubyGemsのことを忘れてはいけない

gem install watir 

使用してインストールします。

+0

私はそうは思わない。これを行うブラウザプラグインはありますが、実際には動作しません。マウスのx、y位置を記録するためです。その後、ページがCSSを変更した場合は、スクリプトを再録音する必要があります。 – Erpheus

+0

おっと、私はあなたの回答の後に私のコメントを削除しました。しかし、http://en.wikipedia.org/wiki/Watir#Recordersにはいくつかのレコーダーが記載されています –

関連する問題