フォームを複数のリダイレクトで送信する

Question

ウェブサイトからデータを取得しようとしています。フォームを送信すると、自動的に最終結果ページにリダイレクトされるように設定されている読み込みページにリダイレクトされます。問題は、クローラが読み込みページのデータのみを取得し、実際に必要な最終結果ページに完全には移動しないことです。誰かが私にそれを達成する方法を教えてもらえますか？可能でない場合は、これを行うための代替手段が何であるか？

Answer 1

あなたはカールを使用している場合は、次のことを試すことができます。

curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);

それでもロードページ、その可能性のないHTTPリダイレクトを過ぎて取得されていない場合。

この場合、ターゲットの場所を手動で解析する必要があります。多くのウェブサイトでは、このような読み込みページにメタリフレッシュタグを使用しています。次のようなものを探してください：

<meta http-equiv="refresh" content="5; url=http://example.com/" />

あなたは簡単に正規表現やPHPのための任意のDOM解析ライブラリで上記を解析することができます。

もう1つの可能性はJavaScriptのリダイレクトです。ソースコードにwindow.locationが含まれている行を探します。