C＃で添付された各ページコードをクロールする方法は？

Question

私はhttp://stock.hankyung.com/news/app/newslist.php?cid=01からウェブサイトをクロールしようとしています。

私のコーディングは、各タイトルが最初のページだけで提供するすべての情報をクロールすることになっています。今度は、最初のページを終了した後、次のページをクロールして、1-> 2-> 3->の後にクロールします。

Answer 1

リンクにページ番号があります。あなたは

<a href="http://stock.hankyung.com/news/app/newslist.php?cid=01&page=43940" class="btn last"> 

下の最後のページボタンを検査する場合 あなたは

IWebElement lastPageElement = driver.FindElement(By.XPath("//a[@class='btn last']")); 

を持つ要素を選択することができそして、hrefを選択：

int page_number; 
    string url_link = "http://stock.hankyung.com/news/app/newslist.php?cid=01&page="; 
    for (int i = 1; i <= page_numnber; i++) { 
     driver.Navigate().GoToUrl(url_link + i); 
     // Code here 
    } 

は、私はそれが

編集役に立てば幸いプロパティ。

string page_number_string = lastPageElement.GetAttribute("href"); 

そして、それのうち

page_number_string = page_number_string .Substring(60); 

をサブストリングを取得し、それはそのようになる終わりint

int page_number= Int32.Parse(page_number_string); 

にstringキャスト：

driver.Navigate().GoToUrl("http://stock.hankyung.com/news/app/newslist.php?cid=01"); 
    System.Threading.Thread.Sleep(1000); 
    IWebElement lastPageElement = driver.FindElement(By.XPath("//a[@class='btn last']")); 
    string page_number_string = lastPageElement.GetAttribute("href"); 
    page_number_string = page_number_string .Substring(60); 
    int page_number Int32.Parse(page_number_string); 
    string url_link = "http://stock.hankyung.com/news/app/newslist.php?cid=01&page="; 
    for (int i = 1; i <= page_number; i++) { 
     driver.Navigate().GoToUrl(url_link + i); 
     // Code here 
    } 

Answer 2

リンク使用からページ番号4のリンクを到達する例 ため、各ページにアクセスするには、クエリ文字列の属性pageはあなたがループを使用することができ、この

http://stock.hankyung.com/news/app/newslist.php?cid=01&page=4

のようになりますすべてのページに到達