2013-05-25 6 views
7

phantom.js(すぐに)またはcasper.js(すてきで簡単)のWebページをロードしますが、プロキシを使用して、現在のものが悪い場合はリストからをローテーションするという単純な目標があります(Webページの読み込みに失敗した場合など)。それ)。Phantom.js/Casper.jsにプロキシがありますか?

casper.jsには--proxy paramがありますが、ユーザーは1つのプロキシを指定して実行時に使用するように指示しています。

質問1:プログラムでプロキシをオンザフライでローテーションする方法は?

私はいくつかの調査を行い、node-requesterを見つけましたが、casper.jsと統合されていません。私はcodeのプロキシ機能を抽出しようとしましたが、それが一言でどのように機能するのかを実際には理解していませんでした(私はそれほどスマートではありません)。

質問2:phantom.jsまたはcasper.jsのいずれかで動作するプロキシローテーションの簡単な実装がありますか?

私はファンシーcasper.jsを使用することを好みますが、phantom.jsも裸になります。

答えて

6

私は同じ問題を抱えていましたが、私はPhantomJSで働いていました。私たちが結んだ解決策は、大規模なJava/Scalaサーバーの子プロセスとしてPhantomJSを実行し、必要に応じて失敗を処理し、異なるプロキシを割り当てました(--proxy arg内の異なるパラメータで再実行することによって)。

+0

これは数年前のことですが、今日はもっと良い解決策がありますか? – 3zzy

関連する問題