HTMLコードをdifferntエンコードで読み込むための汎用コードを書くには？

Question

私はウェブページのコンテンツを読むためのコードを書こうとしていますが、そのページで使用されているエンコーディングがわからないので、奇妙なシンボルがない正しい文字列を返すジェネリックコードを書くにはどうすればいいですか？ ？ エンコーディングは（ "UTF-8"、 "windows-1256"、...）です。 私はUTF-8にしようとしましたが、ページが2番目のエンコーディングでエンコードされているときに、私はいくつかの奇妙なシンボルを持っています。

HttpWebRequest request = (HttpWebRequest)WebRequest.Create("SOME-URL"); 
request.Method = "GET"; 
WebResponse response = request.GetResponse(); 
StreamReader streamReader = new StreamReader(response.GetResponseStream(), System.Text.Encoding.UTF8); 
string content = streamReader.ReadToEnd(); 

そしてここでは、問題の原因のリンクです： http://forum.khleeg.com/144828.html

Answer 1

あなたはこのフィールドをチェックするために応答テキストを調べる必要があります。

ここ

は、私が使用しているコードです。

<meta http-equiv="Content-Type" content="text/html; charset=windows-1256" /> 

この文字も、ANSIと同様に正しくデコードされます。 このタグからのデータによると、あなたは、このようにGetEncoding方法であなたのEncodingオブジェクトを作成する必要があります。

HttpWebResponse response = (HttpWebResponse)request.GetResponse(); 
var enc1 = Encoding.GetEncoding(response.ContentEncoding); 

または.CharacterSetプロパティ：

var enc1 = Encoding.GetEncoding("windows-1256"); 
var enc2 = Encoding.GetEncoding(1256); 

もう一つの方法は、HttpWebResponseのの.ContentEncodingプロパティを使用することです：

string Charset = response.CharacterSet; 
var enc1 = Encoding.GetEncoding(Charset); 

Answer 2

あなたが言及したページには、正確にwhそれを使用しているエンコーディングは、ここに見つかった文字列です。

<meta http-equiv="Content-Type" content="text/html; charset=windows-1256" /> 

このような文字列を検索することはできませんか？