ルビーのIPアドレスを変更する

Question

今は自分のコンピュータでスクレイピングプログラムを実行しています。これはサイズが大きいので、残念なことに、私のIPアドレスは私が掻きする必要があるサイトから禁止されています。 Rubyでは、単純なやり方でも、私は自分のIPアドレスを切り替えることができるので、私はこのサイトにスクレイピングするために戻ってくることができますか、私は運が悪いですか？ソリューション。それは403 Forbidden Errorであり、その価値が何であれ、nokogiriを使用しており、私のユーザエージェントはルビーです。ありがとうございます。

Answer 1

プロキシ経由で接続できます。プロキシアドレスのリストがある場合は、ルビにプロキシをx分ごとに変更するように伝えることができます。これにより、WebサイトのIPが変更されます。ここでは、コードを少しだけ拡張するプロキシリストを使用して、プロキシを介してGoogleの検索結果を掻くコードです。

require 'rubygems' 
require 'mechanize' 

agent = Mechanize.new 
agent.set_proxy '78.186.178.153', 8080 
page = agent.get('http://www.google.com/') 

google_form = page.form('f') 
google_form.q = 'new york city council' 

page = agent.submit(google_form, google_form.buttons.first) 

page.links.each do |link| 
    if link.href.to_s =~/url.q/ 
     str=link.href.to_s 
     strList=str.split(%r{=|&}) 
     url=strList[1] 
     puts url 
    end 
end