0
最適化のために、一度タイムアウトしたウェブサイトをスキップするにはスパイダーに連絡してください。タイムアウトしたウェブサイトを再試行するようにスクラップを許可しないでください。
これはどのように達成できますか？
ありがとうございました。
A
答えて
-1
私はちょうどセットの設定で、 を発見： 「偽RETRY_ENABLED =」それの世話をします:)
関連する問題
- 1. スクラップ中にrを試してみてください
- 2. 5秒後にAjaxコールを再試行してください
- 3. ユーザーにアンドロイド通知を許可しないでください。
- 4. 再試行してください：エラー（無効なJSONマッピング）JSON
- 5. WrapperTaskの.complete（）を再試行してください
- 6. パスワードフィールドのスペースを許可しないでください。
- 7. Appを許可しないで、アプリケーションを表示しないでください。
- 8. ディレクトリリストを許可するようにApacheを設定してください
- 9. スクラップ中にイメージをダウンロードしないでください
- 10. アンドロイドビルドを実行するたびにレルムモデルを再構築しようとしないでください。
- 11. ウェブサイトのフォルダへのパブリックアクセスを許可する/許可しない
- 12. 私はそうのような再試行ポリシーを設定しようとしています再試行ポリシー
- 13. タイムアウトで再試行しますか？
- 14. C＃ - Selenium再試行属性がSeleniumタイムアウトで機能しない
- 15. POSTをlist_routeに許可するが、ViewSet全体には許可しないでください。
- 16. 許可されていないウェブサイトで私のAPIを使用しないように制限する
- 17. Django "ロック待機タイムアウトを超えました;トランザクションの再起動を試してください"
- 18. RxPermissionsで許可されていない場合は、他の人に許可を求めないようにしてください。
- 19. ウェブブラウザのようなウェブサイトをダウンロードしてください。
- 20. SFTPの再試行許可エラー
- 21. tryブロックをJavaのtry-catchで再試行してください。
- 22. 機能インタフェースを使用して1回再試行してください
- 23. タイムアウト時にurllibでpythonでurlを開くのを再試行します。
- 24. CORS（Cross-Origin Resource Sharing）を許可するようにvert.xサーバを正しく設定してください
- 25. libjingle iOS：マイクの許可を求めないでください。
- 26. マイクの許可を求めないでください
- 27. webrtc：マイクの許可を求めないでください
- 28. 許可を確認し、許可されていれば、ニュースフィードに記事を公開してください
- 29. Logstash + Elasticsearchフェールオーバーをローカルで実行するか、または再試行してください
- 30. 私のアプリだけがそれにアクセスできるようにmvc5 c＃webapiを許可してください