cURL - サーバーが突然ステータスコード500で応答します - なぜですか？

Question

私はcURLを使用して私のウェブサイトからいくつかのデータを読み込もうとしています。これは私のサーバーに1分間に約50-60件のリクエストを実行しています。約30件のリクエストで、スクリプトが機能しなくなったようですが、私のカール要求から突然ステータスコード500が返ってくることがわかりました。

ルーチンは何も特別なものではなく、実際の日が月末になるまで増やします。毎日私は何かを読んでいます（このコードの一部ではありません）。

次のコードは、どのように私がcURL要求を行うかを示しています。 30回のリクエストの後、500回戻ってきますが、ループなしでもう一度試してみると31回のリクエストしか得られませんので、大量のリクエストではうまく動作しません。

問題が発生している可能性のある候補はありますか？

ありがとう！

  // To get an ASP.NET SessionID I first visit the page as usual... 
    $c = curl_init(); 
    curl_setopt($c, CURLOPT_URL, "http://www.mypage.de/mysite.aspx"); 
    curl_setopt($c, CURLOPT_RETURNTRANSFER, true); 
    curl_setopt($c, CURLOPT_COOKIEFILE, "cookies.txt"); 
    curl_setopt($c, CURLOPT_COOKIEJAR, "cookies.txt"); 
    $o = curl_exec($c); 
    curl_close($c); 

    //start the request 
    $c = curl_init(); 
    curl_setopt($c, CURLOPT_URL, "http://www.mypage.de/mysite.aspx"); 
    curl_setopt($c, CURLOPT_RETURNTRANSFER, true); 
    curl_setopt($c, CURLOPT_FOLLOWLOCATION, 1); 
    curl_setopt($c, CURLOPT_COOKIEFILE, "cookies.txt"); 
    curl_setopt($c, CURLOPT_COOKIEJAR, "cookies.txt"); 
    curl_setopt($c, CURLOPT_HTTPHEADER, array('Content-Length' => '999')); 

    curl_setopt($c, CURLOPT_POST, true); 
    curl_setopt($c, CURLOPT_HEADER, 1); 


    $headers = array(); 
    //$headers[] = "Referer: http://www.mypage.de/mysite.aspx"; 
    //$headers[] = "Content-Length: 999"; 

    $data = "somevalidpostdata"; 

    curl_setopt($c, CURLOPT_POSTFIELDS, $data); 
    $o = curl_exec($c); 
    $status = curl_getinfo($c, CURLINFO_HTTP_CODE); 
    echo "\r\n" . $status . "\r\n"; 
    curl_close($c); 

おかげで、 WorldSignia

Answer 1

500は、内部サーバーエラーを意味します。

多すぎるリクエストを送信している可能性があります。 usleep(500000);をリクエスタの間に追加してください。

Answer 2

HTTP500は、要求の処理中に何か問題が発生したことを意味します。 http://www.mypage.de/mysite.aspxにエラーが何であるか見る必要があります。あなたが検査できるメッセージまたはペイロードのプロパティはありますか？アプリケーションによってスローされたエラーが含まれている可能性があります。

スクリプトが接続しているアプリケーションを制御しているかどうかは不明です。そうでない場合は、ページを削っているだけですから、各リクエストの前に数秒のスリープ状態を導入して、脅威管理ゲートウェイアプリケーションがスクリプトをブロックします（基本的にDoS攻撃なので）。また、対象のウェブサイトにあるRobots.txtの存在を確認して尊重する必要があります。