ルビーでの並列HTTPリクエスト

Question

私はURLの配列を持っていて、それぞれを開き、特定のタグをフェッチすることはできません。
しかし、これを並行して実行したいと思います。ここで

は、私が何をしたいのための擬似コードです：

 
urls = [...] 
tags = [] 
urls.each do |url| 
    fetch_tag_asynchronously(url) do |tag| 
    tags << tag 
    end 
end 
wait_for_all_requests_to_finish() 

これは素晴らしいだろう素敵で安全な方法で行うことができれば。
スレッドを使用することはできますが、配列はルビーのスレッドセーフではありません。あなたはMutexを使用して、スレッドの安全性を達成することができます

Answer 1

：

require 'thread' # for Mutex 

urls = %w(
    http://test1.example.org/ 
    http://test2.example.org/ 
    ... 
) 

threads = [] 
tags = [] 
tags_mutex = Mutex.new 

urls.each do |url| 
    threads << Thread.new(url, tags) do |url, tags| 
    tag = fetch_tag(url) 
    tags_mutex.synchronize { tags << tag } 
    end 
end 

threads.each(&:join) 

をただし、すべてのURLのための新しいスレッドを使用して逆効果かもしれないので、このようなスレッドの数を制限することは、よりパフォーマンスの高いかもしれません：

Answer 2

ルビーのGILのおかげで、これは私の読書http://merbist.com/2011/02/22/concurrency-in-ruby-explained/とそれ以上のリンクに基づいて安全であるはずです。

Answer 3

Typhoeus/Hydra宝石の組み合わせは、これを非常に簡単に行うように設計されています。それは非常に便利で強力です。