Web Scraping XHR rvestとRのダイナミックページ

Question

ダイナミックウェブサイトMorningstar.comをXHRリクエストでスクラップしようとしています。

私はスクレーピングしています正確なサイトがある：http://performance.morningstar.com/funds/etf/total-returns.action?t=SPY&region=USA&culture=en_US

私はこすりしようとしている何が四半期ごとのパフォーマンスの数（1ヶ月）です。今日の結果は0.64です。

try(res <- GET(url = "http://performance.morningstar.com/fund/performance-return.action", 
       query = list(
        t="SPY", 
        region="usa", 
        culture="en-US" 
       ) 
)) 

    tryCatch(x <- content(res) %>% 
      html_nodes(xpath = '//*[@id="tab-quar-end-content"]/table/tbody/tr[1]/td[1]') %>% 
      html_text() %>% 
      trimws() %>% 
      as.numeric() 
      , error = function(e) x <-NA) 

しかし、結果は数値（0）

私が間違っているの何任意のアイデア？

Sody

更新：

私は次のコードでHTMLデータを取得することができた：

try(res <- GET(url = "http://performance.morningstar.com/fund/performance-return.action", 
       query = list(

        t = "SPY", 
        region = "usa", 
        culture = "en-US", 
        ops = "clear", 
        s = "0P0000J533", 
        ndec = "2", 
        ep = "true", 
        align = "q", 
        annlz = "true", 
        comparisonRemove = "false" 

       ) 
)) 

しかし、私はまだのいずれかを使用してデータを指し示す問題を抱えていますCSSセレクタまたはxpath（rvest付き）。

あなたはそれらのデータポイントを見つけるために何を使用しますか？ SelectorGadgetはまだ動いていますか？

乾杯、アーロン

Answer 1

library(httr) 

GET(
    url = "http://performance.morningstar.com/perform/Performance/cef/trailing-total-returns.action", 
    add_headers(
    Referer = "http://performance.morningstar.com/funds/etf/total-returns.action?t=SPY&region=USA&culture=en_US", 
    `X-Requested-With` = "XMLHttpRequest" 
), 
    query = list(
    t = "ARCX:SPY", region = "usa", culture = "en-US", 
    cur = "", ops = "clear", s = "0P00001MK8", ndec = "2", ep = "true", 
    align = "q", annlz = "true", comparisonRemove = "false", 
    benchmarkSecId = "", benchmarktype = "" 
), 
    verbose() 
) -> res 

XHRを直接ターゲティングする必要があります。

Answer 2

テーブルはJavaスクリプトを使用して埋め込まれ、ハードコーディングされていません。このデータをスクラップすることはできません。