ウェブページをhtml文書にダウンロードする

Question

ウェブページのhtmlを取得します。それから、このhtmlにはxpathの2つの要素があります。私はそれを読みたいと思っています。私はこのトピックについてほとんど知識がありません。

検索の際に私は例を見ていますが、URLを読み込んでhtmlを文字列に入れます。しかし、私は2つのxpathを持っているので、私は間違っているか、文字列ではなく、HTMLドキュメントとしてWebページのhtmlをダウンロードするほうがよいでしょうか？

using (WebClient client = new WebClient()) { 
    string s = client.DownloadString(url); 
} 

ウェブページのHTMLを検索できるHTMLドキュメントにダウンロードするにはどうすればよいですか？

Answer 1

あなたはファイルにダウンロードしたデータを書き込むためのStreamWriterを使用することができます。

string s = string.Empty; 
using(WebClient client = new WebClient()) 
{ 
    string s = client.DownloadString(url); 
} 

using (FileStream fs = new FileStream("test.html", FileMode.Create)) 
{ 
    using (StreamWriter w = new StreamWriter(fs, Encoding.UTF8)) 
    { 
    w.WriteLine(s); 
    } 
    } 

Answer 2

これは私がこれを行う方法です。

1. まず、あなたのURLを文字列変数に定義します。
2. 次に、HttpWebRequestクラスの文字列をダウンロードします。
3. 私はHtmlAgilityPackを使用していますので、プロジェクトに含める必要があります（たとえばNuggerを使用）。
4. オブジェクトを作成してHtmlDocumentを作成し、このオブジェクトにデータをロードします。

5. HtmlDocumentをナビゲートできます。

   string urlAddress = "url.com"; 
   
   HttpWebRequest request = (HttpWebRequest)WebRequest.Create(urlAddress); 
   HttpWebResponse response = (HttpWebResponse)request.GetResponse(); 
   string data = ""; 
   if (response.StatusCode == HttpStatusCode.OK) 
   { 
   Stream receiveStream = response.GetResponseStream(); 
   StreamReader readStream = null; 
   
   if (response.CharacterSet == null) 
   { 
       readStream = new StreamReader(receiveStream); 
   } 
   else 
   { 
       readStream = new StreamReader(receiveStream, Encoding.GetEncoding(response.CharacterSet)); 
   } 
   
   data = readStream.ReadToEnd(); 
   
   
   response.Close(); 
   readStream.Close(); 
   } 
   
   HtmlDocument document2 = new HtmlAgilityPack.HtmlDocument(); 
   document2.LoadHtml(data);