PHP Curlリダイレクト待ちページに接続

Question

PHPでCURLを使用しようとしているページからデータをスクラップしようとしています。

サイトに負荷がかかりすぎて、「ちょっと待ってください...リクエストが処理されています...」というメッセージが表示され、サーバーが使用可能になるまで5秒ごとにメタリフレッシュが行われます。これは複数のリフレッシュである可能性があります。

私はそれが複数回更新されますので、これは助けない

curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true); 

を追加しようとしています。

リフレッシュがなくなるか、何らかの理由で次のページに到達するまで待つ方法はありますか？

カールスクリプトがまま現在

$ch = curl_init(); 
    curl_setopt($ch, CURLOPT_URL, $url); 
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); 
    curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true); 
    $data = curl_exec($ch); 
    curl_close($ch); 

任意のヘルプは高く評価されています。 これをカールで行うことができない場合は、別の方法をお勧めしますか？

Answer 1

あなたのような何か試すことができます：上記html 5のための時間を解析しようと含まれていないhtml UTIL、再試行の間秒を待ちます

<?php 
    $data= "" ; 
    $retries = 0; 
    while(preg_match('/<meta http-equiv="refresh"/im', $data) or $retries < 5){ 
     $ch = curl_init(); 
     curl_setopt($ch, CURLOPT_URL, $url); 
     curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); 
     curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true); 
     $data = curl_exec($ch); 
     curl_close($ch); 
     if(!preg_match('/<meta http-equiv="refresh"/im', $data)) 
     { 
      break; 
     } 
     $retries++; 
     sleep(2); 
    } 
?> 

---

を<meta http-equiv="refresh