HttpWebRequestは "（403）Forbidden"エラーを返します。

Question

ウェブサイトからxmlファイルを受信/復号するためのXMLグラバーを作成しました。これは、主に正常に動作しますが、それは常にエラーを返す：

"The remote server returned an error: (403) Forbidden."

サイトhttp://w1.weather.gov/xml/current_obs/KSRQ.xml

のために私のコードは次のとおりです。

CookieContainer cookies = new CookieContainer(); 
HttpWebRequest webRequest = (HttpWebRequest)HttpWebRequest.Create(Path); 
webRequest.Method = "GET"; 
webRequest.CookieContainer = cookies; 
using (HttpWebResponse webResponse = (HttpWebResponse)webRequest.GetResponse()) 
{ 
    using (StreamReader streamReader = new StreamReader(webResponse.GetResponseStream())) 
    { 
     string xml = streamReader.ReadToEnd(); 
     xmldoc.LoadXml(xml); 
    } 
} 

と例外がのGetResponseメソッドでスローです。何が起こったのかを知るにはどうすればいいですか？

Answer 1

あなたのリクエストには、サーバーが必要とするヘッダーがない可能性があります。私はブラウザでページをリクエストし、Fiddlerを使って正確なリクエストを記録してから、User-Agentヘッダーを削除してリクエストを再発行しました。これは403の応答をもたらした。

この頻繁にあなたがやっているだけのように自分のサイトのスクリプトを防止するための試みで、サーバーによって使用される; O）

この場合、403応答でのサーバーヘッダーは、エッジを示す「AkamaiGHost」でありますAkamaiのクラウドセキュリティソリューションのノード。おそらくボットを防御するWAFルールが403をトリガしています。

このサイトではUser-Agentヘッダーに値を追加するようです。たとえば、私はそれを「間違いなくスクリーンスクレーパー」に設定しています。それはうまくいくようです。

この種の問題が発生した場合、ブラウザツールやFiddlerのようなプロキシを使用して、実際のHTTPリクエストとレスポンスを調べることが非常に役立ちます。スコットHanselman氏が言うように

The internet is not a black box

http://www.hanselman.com/blog/TheInternetIsNotABlackBoxLookInside.aspx

Answer 2

リクエストはプロキシサーバー経由ですか？はいの場合は、GetResponse()コールの前に次の行を追加します。

webRequest.Proxy.Credentials = System.Net.CredentialCache.DefaultCredentials; 

Answer 3

ほとんどの場合、アクセスしようとしているリソースにアクセスする権限がありません。したがって、必要なアクションを完了するために必要な資格情報を取得する必要があります。

Answer 4

明らかに、URLはブラウザから機能します。コードからはうまくいきません。おそらく、クローラを防ぐための非常に基本的な方法として、サーバーがユーザーエージェントに基づいた要求を受け入れ/拒否しているように見えます。動作するようには思えない

webRequest.UserAgent = @"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.106 Safari/537.36"; 

：

を介して取得するには、ちょうどそれは、例えば、認識して何かにUserAgentプロパティを設定します。