ページのアウトバウンドリンクの数をカウントするにはどうすればよいですか？

Question

Rubyを使ったラーニングスクレイピング。私は与えられたページにあるアウトバウンドリンクの数を数えようとしていますが、私はルビーにどのようにアウトバウンドリンクをカウントさせるだけでいいのか分かりません。

私の現在のコード：

require "open-uri" 

# Collect info 
puts "What is your URL?" 
url = gets.chomp 
puts "Your URL is #{url}" 
puts "Loading..." 

# Check keyword count 
page = open(url).read 
link_total = page.scan("</a>") 
# obl_count = ??? 
link_count = link_total.count 
puts "Your site has a total of #{link_count} links." 

どのように私はこれを完了することができますか？

Answer 1

ちょうどyou should never parse HTML with regular expressionsと同じように、汚れた作業を行うには、おそらくnokogiriを使用しているはずです。

簡単に言うと、CSSセレクタを使ってタグを見つけることができます。そこからカウントするのは簡単です：

Nokogiri::HTML(page).css('a').length 

Answer 2

あなたが使用することができます。

http://anemone.rubyforge.org/

アネモネは、それが迅速かつ無痛のウェブサイトをスパイダープログラムを書くことができますRubyのライブラリです。サイトのすべてのページでアクションを実行し、特定のURLをスキップし、サイト上の特定のページへの最短パスを計算するためのシンプルなDSLを提供します。

マルチスレッド設計は、アネモネを高速化します。 APIによって簡単にできます。そしてRubyの表現力はそれを強力にします。