ウェブサイトのデータ検索

Question

最近、articleは私がしばらく取り組んできたプロジェクトを手に入れるよう促しました。私は、結果やサイトの他の領域からフォームやデータを自動的に完成させるために、いくつかのサイトのWebサービスフロントエンドを作成したいと考えています。私はSeleniumとカスタムコードを使用して成功度を目指してきましたが、私は追加のサイトを追加することが簡単なタスク（おそらく開発者を必要としないもの）であるという段階にこれを拡張しようとしています。

Kapow web data serverこれは多くのことを実現するように見えますが、私はそれがかなり高価であると言われています（現在は引用を待っています）。誰かがこれを経験したことがありますか、あるいは何らかの選択肢を提案することができますか（理想的にはオープンソース？）

免責事項：私はサードパーティのウェブサイトからのデータ検索を自動化することに関する潜在的な合法性の問題を認識しています。このツールは価格比較システムで使用するように設計されており、所有者のサイトがAPIを提供する場合、これは明らかに好ましいアプローチになります。

おかげ

Answer 1

が、私はこれを投稿するので、それがしばらくしている、しかし、誰もがそれに遭遇する必要があり実現し、私はこのためWSO2枠組み（特にマッシュアップ・サーバー）を使用して、成功の多くを持っていました。データマイニングのために、私は必要なものすべてを達成したwebharvestというJavaライブラリも使用しました。