URLを確認する方法はC＃のファイルタイプかウェブページタイプですか？

Question

私はWebサイトをクロールするためにC＃アプリケーションで書いています。 問題が発生しました このURLがファイルまたはウェブページにつながっていることがわかりました。 リクエストされたURLを送信することなくこの問題を解決するにはどうすればよいですか？

Answer 1

Uniform Resource Locatorはファイルシステムパスに匹敵しないため、要求を送信することはできません。以下のURLは.jpgで終わるながらたとえば、それは明らかに絵ではありません。ここで

google.com/search?q=asd.jpg

はあなたの心を変更することを決定した場合にどのように、次のとおりです。

public bool IsFileContent(string url) 
{ 
    var request = HttpWebRequest.Create(url); 
    request.Method = "HEAD"; 

    switch (request.GetResponse().ContentType) 
    { 
     case "image/jpeg": return true; 
     case "text/plain": return true; 
     case "text/html": return false; 

     default: // TODO: add more case as needed 
      throw new ArgumentOutOfRangeException(); 
    } 
} 

Answer 2

私が考えることができる唯一のことは、URLの最後にファイルの拡張子を確認することです。拡張子で終わらないURLを使用してファイルを送信できるため、これで100％の成功率は得られません。それはファイル名に拡張子の付いたファイル名を終えるようにするのが普通の方法だと言われています。

Answer 3

あなたがしたいことは文字通り不可能です。 URLはファイルやウェブページにつながりません。それらはハンドラを要求するようにルーティングされます。リクエストハンドラは、HTMLレスポンス、ファイルダウンロード、または他のタイプのレスポンスを返すことができます。 「.html」や「.pdf」などの拡張機能は、応答の種類を示すものです。しかし、URLには、応答の種類を示さない拡張子、または（まさにこのページのように）拡張子がないことがあります。

HTTPリクエストの応答タイプは、URLだけでは判別できません。