長時間実行中の画面スクラップスクリプトの実行

Question

私はGoDaddy共有LAMPサーバー上のPHPでスクリーンスクレイピングスクリプトをコマンドライン経由で実行しています。

スクリプトは、必要な情報をスクラップして解析し、データベースに格納します。 1ページあたりのプロセス全体で約1.5秒かかり、10,000ページに近づく必要があります（ページごとに2つのCookieから1つのCookieを取得し、合計30kページ、つまりcurlになります）。

スクリプト全体が実行に約5時間かかります。私はいくつかのメモリプロファイリングを行っており、メモリ消費量は実行中はほぼ一定に保たれます。増加しません。

スクリプトを一晩実行すると、GoDaddyは異常なことに気付くでしょうか？ CPU消費量はそれほど多すぎるはずはありませんが、1.5時間あたり3ページを5時間フェッチした場合の帯域幅消費量はどのくらい悪くなりますか？ GoDaddyの終わりに警報を発するには十分ですか？

はいの場合は、スクリプトを分割して1500ページを実行し、1時間停止してから再開できるとします。私はそれをすべきか？私は答えを投稿します未回答の質問を残していないの便宜上

Answer 1

、：

私は一晩スクリプトを実行しました。走るのに約5時間かかったし、GoDaddyによっても終了されていなかったし、通知もなかったので、私はそれが問題ないと思う。

最初は私に割り当てられたメモリが不足しているメモリの問題がありましたが、それはPHP 5.3以前のバグでした（詳細はhere）。一旦固定されると、それは32-34MBのRAM使用量で全面的にホバリングしました。 CPUの消費量や帯域幅の使用に関するヒントはありません。