IISベースのウェブサイトをスクレイピングするウェブ

Question

私はRを使用してthis siteからテーブルをウェブスクレイプしています。

ライブラリrvestを使用しています。

#install.packages("rvest", dependencies = TRUE) 
library(rvest) 
OPMpage <- read_html("https://www.opm.gov/policy-data-oversight/data-analysis-documentation/federal-employment-reports/historical-tables/total-government-employment-since-1962/") 

私はこのエラーが表示されます。私は間違って

Error in open.connection(x, "rb") : HTTP error 403.

何をしているのですか？

Answer 1

read_htmlまたはhtmlのためのあなたのフォーマットが正しいか：

library(rvest) 
lego_movie <- read_html("http://www.imdb.com/title/tt1490017/") 
lego_movie <-  html("http://www.imdb.com/title/tt1490017/") 

しかし、ページまたはあなたがこすりしようとしているページの一部のいずれかをこすることはできませんので、あなたが403を取得しています。

あなたはvignette("selectorgadget")を参照してrvestと一緒にselectorgadgetを使用する必要があります。

http://blog.rstudio.org/2014/11/24/rvest-easy-web-scraping-with-r/

しかし、可能性が高く、それだけで掻き取りするためのものだページはありません。しかし、私はバラク・オバマと新しい米国のチーフ・データ・サイエンティスト、DJパティルが最近、容易にインポートできるようにその種の米国政府データを入手するためにcentral hubを出したと思います。

Answer 2

NULLのヘッダーの文字列にNULLが含まれているため、forbidding youにアクセスできません。 add_headersができますGET要求に包まれ

library(httr) 
library(rvest) 

url <- "https://www.opm.gov/policy-data-oversight/data-analysis-documentation/federal-employment-reports/historical-tables/total-government-employment-since-1962/" 

x <- GET(url, add_headers('user-agent' = 'Gov employment data scraper ([[your email]])')) 

：（。一部のブラウザでは、ユーザーが他のブラウザを偽装しましょうけれども、通常、それはあなたが使用しているもののブラウザ伝える文字列だ、）httrパッケージを使用して、user-agent文字列を設定することができます好きなパラメータを設定します。 add_headersの代わりに、より具体的なuser_agent関数を使用して設定することもできます。

この場合、いずれもuser-agent文字列は機能しますが、あなたが誰であり、何を望んでいるかを丁寧（最後のリンクを参照）してください。

rvestを使用すると、HTMLを解析して表を引き出すことができます。関連するテーブルを選択する方法が必要です。 HTMLを見て、それにはclass = "DataTable"がありますが、SelectorGadget（rvestビネットを参照）を使用して、有効なCSSまたはXPathセレクターを見つけることもできます。したがって

x %>% 
    read_html() %>% 
    html_node('.DataTable') %>% 
    html_table() 

は、（完全ではないにしても）きれいなdata.frameを提供します。

注：責任を持って法的に擦り傷をつけてください。 OPMが政府の情報源であることを考えると、それはパブリック・ドメインにありますが、それは多くのウェブでは当てはまりません。 this nice post on how to scrape responsibly.