C＃で非アスキー文字をデコードしていますか？

Question

私はHtmlAgilityPackを使用していくつかのサイトからメタ記述を読んでいます。

英語の文字でない場合は、特殊文字をデコードしないことに気付きました。 （日本の手紙など）。

私はエンコードUTF8を使用しています。何か他のものを使用していなければなりません。

byte[] bytes = Encoding.Default.GetBytes(item.Attributes["content"].Value); 
return Encoding.UTF8.GetString(bytes); 

Answer 1

お客様のコメントによると、あなたのウェブサイトはUTF-8ではなくSHIFT-JISエンコードを使用しているようです。 UTF-8とSHIFT-JISのサンプルを2つ追加しました。

 using (var client = new WebClient()) 
     { 
      // UTF-8 
      var content = client.DownloadString("http://www3.nhk.or.jp/news/"); 
      var doc = new HtmlDocument(); 
      doc.LoadHtml(content); 
      var metaDescNode = doc.DocumentNode.SelectSingleNode("//meta[@name=\"description\"]"); 
      var bytes = Encoding.Default.GetBytes(metaDescNode.Attributes["content"].Value); 
      var decodedMetaDesc = Encoding.UTF8.GetString(bytes); // This string has decoded characters 

      // Shift_JIS 
      var japaneseEncoding = Encoding.GetEncoding(932); 
      var content2 = client.DownloadString("http://www.toronto-electricians.com/"); 
      var doc2 = new HtmlDocument(); 
      doc2.LoadHtml(content2); 
      var metaDescNode2 = doc2.DocumentNode.SelectSingleNode("//meta[@name=\"description\"]"); 
      var bytes2 = Encoding.Default.GetBytes(metaDescNode2.Attributes["content"].Value); 
      var decodedMetaDesc2 = japaneseEncoding.GetString(bytes2); // This string has decoded characters 
     } 

スクリーンショット1デバッガから。デバッガから

スクリーンショット＃2。

Answer 2

WebClient.DownloadStringは基本的に簡単な事をすることは厄介で間違いやすい作る限られた、ハイレベルな方法です。

HTTP経由でWebページを取得するのは簡単です。あなたはURLといくつかのリクエストヘッダを与えます。サーバーは、応答ヘッダーと本文のバイトストリームで応答します。応答ヘッダは通常、テキスト本文の文字エンコーディングを記述します。もしそうでなければ、本文はそれ自身を言うかもしれません。 HTMLAgilityPackはこれを理解し、そのインタラクションからHtmlAgilityPack.HtmlDocumentを作成するためのHtmlWebクラスを提供します。

var document = new HtmlWeb().Load("http://www3.nhk.or.jp/news/"); 
var keywords = document.DocumentNode 
    .SelectSingleNode("//meta[@name='keywords']") 
    .Attributes["content"]?.Value; 
Console.WriteLine(keywords); 
Console.WriteLine($@" 
    StreamEncoding: {document.StreamEncoding?.EncodingName} 
    DeclaredEncoding: {document.DeclaredEncoding?.EncodingName} 
    Encoding:   {document.Encoding?.EncodingName}"); 

---

NHK,ニュース,NHK NEWS WEB 

    StreamEncoding: Unicode (UTF-8) 
    DeclaredEncoding: 
    Encoding:   Unicode (UTF-8)