2011-12-20 164 views
1

PHPの別のWebサイトからそのページを読み込み、そのコンテンツをスクラップできるようにしようとしています。これにはかなり上の任意の他のWebページで動作しますが、何らかの理由では、このいずれかで動作しません:PHPのcURLが応答を取得していない

http://www.bkstr.com/webapp/wcs/stores/servlet/CourseMaterialsResultsView?catalogId=10001&categoryId=9604&storeId=10161&langId=-1&programId=562&termId=100022286&divisionDisplayName=Stanford&departmentDisplayName=CS&courseDisplayName=103&sectionDisplayName=01

誰もがなぜ知っていますか?ファイアウォールかそれとも何か? これを行う別の方法を知っていますか?別の言語でさえ?

ここで私が使用しているcURLのコードは次のとおりです。

$ch = curl_init(); 
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); 
curl_setopt($ch, CURLOPT_URL, $theurl); 
$response = curl_exec($ch); 
curl_close($ch); 

は、私はこれらのcURLのオプションを試してみた:

curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true); 
curl_setopt($ch, CURLOPT_TIMEOUT, 5); 
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false); 
curl_setopt($ch, CURLOPT_PORT , *ports 22 and 433*); 

**をしようとする他のポートを知っていますか?または、ホストが使用しているポートを特定する方法はありますか?私は可能なポートを今すぐループしようとしています。

私は情報を取得しようと、ここで私が持っているものだしました:

$info = curl_getinfo($ch); 
print_r($info); 

返します

Array ([url] => http://www.bkstr.com/webapp/wcs/stores/servlet/CourseMaterialsResultsView?catalogId=10001&categoryId=9604&storeId=10161&langId=-1&programId=562&termId=100022286&divisionDisplayName=Stanford&departmentDisplayName=CS&courseDisplayName=103§ionDisplayName=01 [content_type] => [http_code] => 0 [header_size] => 0 [request_size] => 289 [filetime] => -1 [ssl_verify_result] => 0 [redirect_count] => 0 [total_time] => 0.602861 [namelookup_time] => 0.226121 [connect_time] => 0.285047 [pretransfer_time] => 0.285149 [size_upload] => 0 [size_download] => 0 [speed_download] => 0 [speed_upload] => 0 [download_content_length] => 0 [upload_content_length] => 0 [starttransfer_time] => 0.602824 [redirect_time] => 0) 

おかげでたくさんの!

+3

サイトがダウンしているか、ここからアクセスできないように見えるかもしれません。このサイトは実際にはおそらくファイアウォールされています。 – ChrisR

+1

私は 'curl:(56)Recv failure:ピアによって接続がリセットされました.'だから、そこに問題があると思います。 – piotrekkr

+0

サイトもこちらです(オランダ)。それは多くを説明するだろう:) – Oldskool

答えて

0

Web管理者がCORSを有効にしていてはいけないことを認識しました。ページをスクラップするために、私はブラウザにページをロードしてファイルに保存したJavaボットを書きました。厄介ですが、最終的には成功しました...

+0

IMacrosも良いです。これらのすべてのURLパラメータは何ですか? – ArtisticPhoenix

関連する問題