5分ごとにウェブページをダウンロードするには？

ウェブページのリストをダウンロードしたい。私はwgetがこれを行うことができることを知っている。しかし、すべてのURLを5分ごとにダウンロードしてフォルダに保存することは、wgetの機能を超えているようです。誰かが、JavaやPython、あるいはPerlでタスクを達成するツールを知っていますか？5分ごとにウェブページをダウンロードするには？

ありがとうございます。

出典

2009-09-02 ablimit

は、wgetコマンドでのcronを使用してみてください。 –

@wuub：良い解決策のように聞こえる。それをアンサーに入れて受け入れられるのはなぜですか？ –

@マーク：私の本では、これは答えとしてカウントされないので、正しい方向に0xDEADBEEFだけです。 –

wgetを使用するbashスクリプトを作成し、それをcrontabに入れて5分ごとに実行します。（*/5 * * * *）

これらのすべてのWebページの履歴を保持する必要がある場合は、スクリプトの先頭に変数を設定し、現在のunixtimeで出力ファイル名に追加します。あなたはuse cron with wget

にしたいと思いますよう

出典

2009-09-02 11:44:31

あなたが記述した履歴部分が必要ない場合、なぜwgetコマンドをa（bash）スクリプト？ cronからwgetを呼び出すこともできます。 –

ページのシリーズ（グループ）があるので – KevinDTimm

Erm ...はい、意味があります。 :) –

は聞こえるが、あなたのpythonを使用して設定している場合：

import time 
import os 

wget_command_string = "wget ..." 

while true: 
    os.system(wget_command_string) 
    time.sleep(5*60)

出典

2009-09-02 11:45:52

pythonはlaunchdインターフェイスを持っていますか？ –

5分ごとにウェブページをダウンロードするには？

答えて

関連する問題