ネットワークエラーを処理するPython、Web Crawler

Question

大規模なWebサイトでWebクローラーを作成しています。しかし、接続が不安定で接続がクローズしたり、SSLエラーが発生したり、断続的に障害が発生したりします。私はこの問題に対処する方法を探しています。これは、以下の私のコードで、誰がどのように待機を実装したり、ネットワークインタフェース自体を聞くしようとせずに、ネットワーク接続

try: 
    requests.get("http://example.com") 
except requests.exceptions.RequestException: 
    pass # handle the exception. maybe wait and try again later 

Answer 1

があるとき、あなたは簡単なを追加することができ、再びプロジェクトを開始するために、もう一度お試しに私を伝えることができます失敗した場合の「再試行」メカニズム：

import time 

while True: 
    try: 
     requests.get("http://example.com") 
     break # you can also check the returned status before breaking the loop 
    except requests.exceptions.RequestException: 
     time.sleep(300) # wait 5 mins before retry