httpsウェブページからreadHTMLTableを使ってテーブルを読む

私はR 3.3.1をインストールしてあり、RStudio 0.99.903を使っています。私は、次のURLからRにテーブルを読み込むしようとしている：https://www.fantasypros.com/nfl/rankings/consensus-cheatsheets.php httpsウェブページからreadHTMLTableを使ってテーブルを読む

が

I（Iは、ダウンロードボタンがあることも承知している、しかし、それは今の私のためのオプションではありません） readHTMLTable関数を使って簡単にこれを行うことができました。しかし、その時点で、そのサイトはhttpをhttpsに変更しました。これにより、「XMLコンテンツはXMLになりません」というエラーが発生します。

私はここで提案されたものを試してみました：get url table into a `data.frame` R-XML-RCurl

library(XML) 
library(RCurl) 
url <- getURL("https://www.fantasypros.com/nfl/rankings/consensus-cheatsheets.php") 
df <- readHTMLTable(URL, header = T)

のget URL機能は、と、私はリストを取得（readHTMLTableが正しく動作しないことを意味する、私には、本質的に意味がない大きな文字列を返します。データフレームのカップルが、それらはまた、私には無意味であることは）私は、彼らがどこから来見当がつかないものの観察とスペイン語です：。

>url 
[1] "\r\n<!DOCTYPE html>\n<html lang=\"en\">\n\n<head>\n <title>2016 QB Fantasy Football Rankings, QB Cheat Sheets, QB Draft/Draft Rankings</title>\n <meta http-equiv=\"Content-Type\" content=\"text/html; charset=UTF-8\">\n <meta name=\"description\" content=\"Don&#8217;t trust any 1 fantasy football expert? We combine their rankings into 1 Expert Consensus Ranking. Our 2016 Draft QB rankings are updated daily.\">\n<link rel=\"canonical\" href=\"https://www.fantasypros.com/nfl/rankings/qb-cheatsheets.php\" />\n\n <meta property=\"fb:pages\" content=\"184352014941166\"/>\n

それはかなりの方法多くのために行きます。

これを動作させる方法を教えてもらえますか？

ありがとうございました。

出典

2016-08-20 Mike Edinger

これはRCurl 1.95-4.8、bitops 1.0-6およびXML 3.98を使用して、Windows 10 x64（ビルド14393）をRのバージョン3.4.0でパッチしました（2017-05-02 r72649） 1.7という点を除いて、 'URL'という質問の第4行のコードでは、第3行と矛盾しないように' url'を指定する必要があります。 –

のGet HTML

library("httr") 
library("XML") 
URL <- "https://www.fantasypros.com/nfl/rankings/consensus-cheatsheets.php" 
temp <- tempfile(fileext = ".html") 
GET(url = URL, user_agent("Mozilla/5.0"), write_disk(temp))

パースHTMLファイル

doc <- htmlParse(temp)

XPathクエリはclass = "player-table"とその子tr要素がclass = 'mpb-player-'

xpexpr <- "//table[contains(@class, 'player-table')]/tbody/tr[contains(@class, 'mpb-player-')]"

を持つ table要素を選択することによって構築されたURLからファイル

は、列名を追加

df <- df[, seq(1, length(df), by = 2)]

空の列を削除するノードリスト

df <- xmlToDataFrame(listofTableNodes, stringsAsFactors = FALSE) 
# alternatively xpathSApply can be used to get the same data frame 
# df <- xmlToDataFrame(xpathSApply(doc, xpexpr), stringsAsFactors = FALSE)

のxmlvaluesとデータフレームを作成するXPath式

listofTableNodes <- getNodeSet(doc, xpexpr) 
listofTableNodes

のためにドキュメントからのノードのリストを取得します

xpexpr <- "//table[contains(@class, 'player-table')]/thead/tr/th" 
listofTableNodes <- getNodeSet(doc, xpexpr) 
listofTableNodes 
colnames(df) <- gsub("[\r\n ]*$", '', xmlSApply(listofTableNodes, xmlValue)) 

head(df) 
# Rank   Player (Team) Pos Bye Best Worst Avg Std Dev ADP vs. ADP 
# 1 1  Antonio Brown PIT WR1 8 1  5 1.3  0.8 1.0  0.0 
# 2 2 Odell Beckham Jr. NYG WR2 8 1  9 3.1  1.6 2.0  0.0 
# 3 3  Julio Jones ATL WR3 11 1  6 3.4  1.1 4.0 +1.0 
# 4 4  Todd Gurley LA RB1 8 1 11 4.5  2.3 3.0 -1.0 
# 5 5  David Johnson ARI RB2 9 1 19 6.1  3.5 6.0 +1.0 
# 6 6 Adrian Peterson MIN RB3 6 1 22 7.6  3.8 5.0 -1.0

出典

2016-08-20 22:26:14 Sathish

httpsウェブページからreadHTMLTableを使ってテーブルを読む

答えて

関連する問題