したがって、ローカルマシン上で完全に実行されているノコギリのウェブスクレイプがあります。レールURLのリンクを使用したプロキシを使用
しかし、実稼働環境でWebスクレイプを実行しようとすると、403エラーコードが表示されます。
私はこれが私のサーバーの私のIPをブロックするWebサイトにダウンしていると信じて
ルートにプロキシサーバーを介して自分のWebサーバーから鋸山の要求も可能です(おそらく、そのIPを使用して、以前の人々はそれをブロックしているため) ?もしそうなら、私はそれについてどうやって行くのですか?
これは現時点でのコードです。
doc = Nokogiri::HTML(open(URL HERE, 'User-Agent' => 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.2 (KHTML, like Gecko) Chrome/15.0.854.0 Safari/535.2'))
ここから403を取得していますか?あなたが掻き取ろうとしているウェブサイトから? – thesecretmaster
実際、私はサーバーのIPアドレスをブロックしているという印象を受けています。なぜ、私はプロキシを考えたのですか? –
Mechaniseとプロキシを使用できますか?見て[ここ](http://stackoverflow.com/questions/18348673/how-do-i-configure-a-ruby-mechanize-agent-to-work-through-the-charles-web-proxy)または[ここに](https://gist.github.com/emergent/3983870) –