Rubyで利用可能なWebページの宝石/工具を掻き集める

Question

私が取り組んでいるRubyスクリプトでWebページを削り取ろうとしています。このプロジェクトの目的は、どのETFおよび株式ミューチュアルファンドが価値のある投資理念に最も適合しているかを示すことです。

私はこすりしたいページのいくつかの例は以下のとおりです。あなたがルビーのためにお勧めします、そしてなぜかこする何ウェブツール

http://finance.yahoo.com/q/pr?s=SPY+Profile 
http://finance.yahoo.com/q/hl?s=SPY+Holdings 
http://www.marketwatch.com/tools/mutual-fund/list/V 

？そこには何千もの株式ファンドがあることを覚えておいて、私が使用するツールはかなり速くなければなりません。

私はRubyを初めて使っていますが、lxmlを使ってPythonでWebページをスクラップした経験があります（https://github.com/jhsu802701/dopplervalueinvesting/blob/master/screen.py）。 5000以上の株のページがダウンロードされると、lxmlは数分でそれらをすべて削り取ることができます。 （私はBeautifulSoupをしようとしたが、それはあまりにも遅かったので、それを拒否覚えています。）

Answer 1

HpricotようRubyで利用可能scraping gems、Nokogiriと非常に多くの非常に多くがあります。 static web pagesを掻き集めるにはNokogiriをお勧めします。 dynamic web pagesをこすっている場合（ボタンのクリック、フォームの送信などが含まれます）。内部でNokogiriを使用しているMechanizeをお勧めします。

Answer 2

HTML解析ソリューションのリストはhttps://www.ruby-toolbox.com/categories/html_parsing.htmlです。ノコギリはまだ活動しているだけなので、ノコギリと一緒に行くよ。