ページング付きの単純なHTML DOM

Question

ページ分類された投稿でウェブサイトカテゴリの値を解析したい。必要な情報は投稿内です。私はそれを行うためにシンプルなHTML DOMを使用しようとしました。私はそれを得た、しかし私はそれが正しいとは思わなかった。スクリプトは、ゆっくりと、あなたのページを要求しているとして、私は、ネットワークを介してその中の記事をANF 300秒の誤差

最大実行タイムアウト

<?php 

    include('simple_html_dom.php'); 

    $total_pages=600; 
    $i = 1; 

    while ($i <= $total_pages): 

$html = file_get_html(''.$url.'/'.$from.''); 

foreach($html->find('.itemReview h3 a') as $a) { 

    $post = file_get_html('http://www.website.com/'.$a->href.''); 

    $author_mail = $post->find('.sellerAreaSecond',0); 
    $author_mail = $post->plaintext; 
    $a_mail_array[] = $author_mail; 
} 


$fp = fopen('file.csv', 'w'); 

foreach($a_mail_array as $ddd) { 
fputcsv($fp, array($ddd)); 



    } 
    fclose($fp); 


$from++; 
endwhile; 


    ?> 

Answer 1

を取得し、大量のデータと連携し、もちろん、これは遅く、大量のafデータでスクリプトのタイムアウトに遭遇します。 php.iniファイルの最大実行時間を増やしてみてください。

Answer 2

一つの解決策は、あなたのサーバの設定（php.iniの）

より良い1、サーバーのダウンロード自体から100ページを持っているし、それらを解析していないだろうに制限時間を増やすことであろう。 HTMLの解析には時間がかかりますが、すべてのコードを調べて、.read_more aと.authoremailを見つけなければなりません。私はあなたがデータストレージのためのプレーンなファイルに取り組んでいると思っています。もしあなたがMySQLやSQLiteのようなデータベースに切り替える必要があるならば、データベースを照会できます。これは、あなたのウェブサイトがより多くのコンテンツを持っているときにクラッシュしないようにするだけでなく、スピードアップします。

SQLでは、作成者の電子メールをテーブルに格納してから、SELECT authoremail FROM postsを使用してforeach()を使用します。これにより、日付順や名前順などの並べ替えを行うこともできます。あなたのウェブサイトをゆっくりと非能率的に走らせることは、私の時間制限を伸ばすことはおそらく良い考えではありません。