CasperJSとPhantomJSのトリガー「サイトはオフラインです」ブラウザではない

Question

私はサイト（https://shop.advanceautoparts.com/）を削り取ろうとしており、CasperJS経由で過去2〜3週間は通常アクセスできます。

私は通常のブラウザまたはPhantomJSそれをオフにしようとすると、私が手に：私は（2日前のようなのような）今それをしようとすると、私はウェブサイトがオフラインであるという奇妙なメッセージが表示されます正常なサイト。私は別のコンピュータでそれをやろうとしました、私のIPを変更し、ユーザーエージェントを変更しますが、何も動作しません。

私は、同じメッセージを持って約5倍のコードを実行した後、PhantomJSで同じことをしようとした後、EDIT

。サイトで掻き傷を防ぐために何かしているのですか？

Answer 1

私は、サイトは、あなたがそれをmutltiple回

をヒットしているようたぶんあなたのユーザエージェントをランダム化し、何が起こるか見てみてください、あなたのユーザエージェントに基づいて、あなたがスクレーピングしている知っている疑いがあります。 （see list here）

var casper = require('casper').create({ 
    pageSettings: { 
    userAgent: "USE SOME OTHER USER AGENT HERE" 
    } 
}); 

ただし、複数の同時要求の後でサイトがブロックしている可能性もあります。そのためにもa）は、スクリプトまたはb）別のページに移動

EDIT

を遅くしようと私は私のために一緒にテストスクリプトと、すべての作品をノックしてきました。 重要ビットは次のとおりです。

casper.waitUntilVisible("#header-top", function() {

HTH