PHPまたはRuby用のWebクローラライブラリはありますか？

Question

PHPやRuby用のWebクローラライブラリはありますか？最初に深さや幅広さを実現できるライブラリを作成し、href = "../ relative_path.html"とbase urlを使用してもリンクを処理します。

Answer 1

は、Rubyのライブラリーでは、このページをチェックしてください：Ruby Mechanize

を私はあなたがまだあなたのクローラがサイトを横断する方法について責任を負うことになることに言及したいと思います。

Answer 2

http://phpcrawl.cuab.de/

Answer 3

あなたは基本的なWebクローラーに&検索のことを学ぶしたい場合は、「ルナエンジンを見て開始することができます機械化

Answer 4

よりもはるかに簡単ルビー、 にwebratまたはワチールのために行くことができます"

Answer 5

JavaScriptを使用するWebページをスクラップする必要がある場合は、poltergeistのように、実際のブラウザをスピンアップするドライバでCapybaraを使用できます。受け入れテストのためのテストフレームワークで通常使用されますが、テストフレームワークの外でも使用できます。