PHPの実行時間は永遠に、Webパーサー

Question

です。いいコードのスライスが見つかりました。まあまあまあまあまあまあいいです。 私はこの問題に直面したときに、無限の時間スパンで実行するスクリプトを手に入れることができなかったことを思い出しました。実際、数時間以上実行することはできませんでした。

これは私が次のように設定した後、次のとおりです。

set_time_limit(0); 
    ini_set("memory_limit", "800M"); 
// in some case i would set them both in others, just one or the other 

私は正確には、PHPはより長い時間スパンのために実行するために取得する方法へと無限のストレッチをいくつかの読書をやってきました。 私はPHPの代わりにcronの仕事のための多くの提案を見つけましたが、私はPHPでこれを行う方法を探したいと思います。

私はいくつかの例を愛するでしょう。

私は上記のコードブロックを使用したいと思います。ここでは、正しいパスでディスカッションを開始するためのリファレンスとしてここにあります。

How to write a crawler?

while(list of unvisited URLs is not empty) { 
    take URL from list 
    fetch content 
    record whatever it is you want to about the content 
    if content is HTML { 
    parse out URLs from links 
    foreach URL { 
     if it matches your rules 
      and it's not already in either the visited or unvisited list 
      add it to the unvisited list 
    } 
    } 
} 

Answer 1

PHPを使用しない代わりに、WITH cronジョブ。次のように

あなたがLinuxサーバ上のcronとしてPHPスクリプトを実行することができます

<time/frequency> <path to PHP> <php script full path>

例えばこれは、あなたがそれをコントロールパネル内の管理ツールであるWindows 7の上で、コントロールパネルに配置されたスクリプトを実行するタスクスケジューラを使用することができます

* * * * * /usr/bin/php -q /var/www/html/cron/parser.php 

またはWindows上...分ごとに実行されます。

PHP、MySQL、Curl、およびcronの組み合わせを使用して、URLから削除したいすべてのデータが解析されるまで、Webアプリケーションを無期限に実行しています。