2016-04-08 11 views
-1

私は学校向けのプログラムを作成していますが、問題が発生しました。それはウェブクローラーであり、時には24時間以上URLにつかれないことがあります。 whileループを継続し、一定の時間以上かかると次のurlに行く方法があるかどうか疑問に思っていました。ありがとうプログラムが長時間実行されるとプログラムを強制終了する方法

+0

HTTPリクエストの送信に使用するライブラリでタイムアウトを指定します。 – ThiefMaster

+0

これは、あなたがURLを取得するために使用しているライブラリに依存します。いくつかの種類のタイムアウトパラメータについてはドキュメントをチェックしてください。 – JETM

+0

最も長くかかる部分は、アウトリンクのリストを辞書に追加することです。 dictionary [page] = outlinks –

答えて

0

urllibをPython 3で使用している場合urllib.request.urlopen(url, timeout=<t in secs>)timeout引数を使用できます。このパラメータは、urllibによって内部的に使用されるすべてのブロック操作に使用されます。

しかし、別のライブラリを使用している場合は、そのドキュメントのdocまたはその言及を参照してください。

+0

最も長くかかる部分は、アウトリンクのリストを辞書に追加することです。辞書[page] = outlinks –

+0

それは私が殺すために探している部分です –

+0

どのような辞書?? –

関連する問題