3
私たちは2000万ページ/時を突破しました。私は本当にスピードを感謝します。しかし、私はターゲットサイトに多大なプレッシャーをかけているのではないかと心配しています。ウェブサイトがクロールされる速度を落とす方法はありますか? documentationがはっきりと述べているとして、あなたが速度を落としたいと思いますなぜMixnodeクローラーのクロールを遅くするにはどうすればよいですか?
私たちは2000万ページ/時を突破しました。私は本当にスピードを感謝します。しかし、私はターゲットサイトに多大なプレッシャーをかけているのではないかと心配しています。ウェブサイトがクロールされる速度を落とす方法はありますか? documentationがはっきりと述べているとして、あなたが速度を落としたいと思いますなぜMixnodeクローラーのクロールを遅くするにはどうすればよいですか?
わからない:
を同じWebサイトに送信された要求間の10秒の最小遅延があります。ウェブサイトのrobots.txtディレクティブがより長い遅延を必要とする場合、Mixnodeはrobots.txtディレクティブで指定された遅延時間に従います。
ウェブページには、「Mixnodeは完全に礼儀正しく滞在している間に驚くほど速く動作します.Webサーバーに過度の負荷がかかるのを防ぐため、robots.txtディレクティブとWebサイトごとの__limits要求に従います。多分問題はありませんか? –
ウェブサイトの重要なビットは次のとおりです。「同じWebサイトに送信されたリクエストの間に最小10秒の遅延があります.__ウェブサイトのrobots.txtディレクティブがより長い遅延を必要とする場合、Mixnodeはrobots.txtディレクティブ」を参照してください。 –