2017-04-12 2 views
3

私たちは2000万ページ/時を突破しました。私は本当にスピードを感謝します。しかし、私はターゲットサイトに多大なプレッシャーをかけているのではないかと心配しています。ウェブサイトがクロールされる速度を落とす方法はありますか? documentationがはっきりと述べているとして、あなたが速度を落としたいと思いますなぜMixnodeクローラーのクロールを遅くするにはどうすればよいですか?

+1

ウェブページには、「Mixnodeは完全に礼儀正しく滞在している間に驚くほど速く動作します.Webサーバーに過度の負荷がかかるのを防ぐため、robots.txtディレクティブとWebサイトごとの__limits要求に従います。多分問題はありませんか? –

+1

ウェブサイトの重要なビットは次のとおりです。「同じWebサイトに送信されたリクエストの間に最小10秒の遅延があります.__ウェブサイトのrobots.txtディレクティブがより長い遅延を必要とする場合、Mixnodeはrobots.txtディレクティブ」を参照してください。 –

答えて

2

わからない:

を同じWebサイトに送信された要求間の10秒の最小遅延があります。ウェブサイトのrobots.txtディレクティブがより長い遅延を必要とする場合、Mixnodeはrobots.txtディレクティブで指定された遅延時間に従います。

関連する問題