URLを避けるにはどうすればいいですか？

Question

APIを使用せずに会社のLinkedInプロファイルをクロールしたいとします。私は、次のコードを使用するときにクロール中にページリダイレクトを取得しています。

http://localnew/comapnyはhttp://linkedin/companyにリダイレクトされます。それを防ぐ方法。

<?php 
error_reporting(E_ALL); 
ini_set("display_errors", 1); 
$cookie_file = "cookies.txt"; 
$url = 'https://www.linkedin.com/jobs/searchRefresh?keywords=Engineer&location=United%20States&locationId=us:0&refreshType=fullpage&trk=jobs_jserp_search_button_execute&searchOrigin=JSERP&applyLogin='; 
$c = curl_init($url); 
curl_setopt($c, CURLOPT_FRESH_CONNECT, 1); 
curl_setopt($c, CURLOPT_COOKIEJAR, $cookie_file); 
curl_setopt($c, CURLOPT_COOKIEFILE, $cookie_file); 
curl_setopt($c, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:17.0) Gecko/20100101 Firefox/17.0"); 
curl_setopt($c, CURLOPT_RETURNTRANSFER, 1); 
curl_setopt($c, CURLOPT_FOLLOWLOCATION, 0); 
$z = curl_getinfo($c); 
$s = curl_exec($c); 
curl_close($c); 
echo "<pre>";print_r($s);exit; 

?> 

Answer 1

あなたの質問は分かりません。しかし、私はベストを尽くします。あなたのケースのための

考えられる原因：

• 彼らは非リアルタイム人としてあなたの要求を検出します。大きなサイトではSpider/Crawlersをブロックするのが一般的です。

• 使用したIPは、ホスティング会社です。通常、これらはブラックリストに載っています。

• 要求されたものがとして検出されませんでした。ユーザー。有効なCookieファイルがこれを修正する可能性があります。

私のお勧めは、実際のAPIに切り替えることです。