リクエストペイロードを使用してWebスクレイプする方法は？

Question

あなたはこのWebページを開く場合は、緑色の「エクスポート」ボタンがあります：あなたは、Webブラウザでそれをクリックするとhttp://mics.unicef.org/surveys

、ファイルsurveys_catalogue.csvは、ダウンロードを開始します。

私はinspect elementがクロムの場合、このページにはrequest payloadというヘッダーがありますが、これはどのように実装するのか分かりません。 R？

Answer 1

あなたは持つほうがよいかもしれません：

library(jsonlite) 
library(tibble) 
library(dplyr) 

res <- GET("http://mics.unicef.org/api/survey") 

content(res, as="text") %>% 
    fromJSON(flatten=TRUE) %>% 
    as_tibble() %>% 
    glimpse() 
## Observations: 312 
## Variables: 11 
## $ round    <chr> "MICS1", "MICS1", "MICS1", "MICS1", "MICS1",... 
## $ region   <chr> "Central and Eastern Europe and the Commonwe... 
## $ country   <chr> "Croatia", "Kyrgyzstan", "Turkey", "Turkmeni... 
## $ country_in_filter <chr> "Croatia", "Kyrgyzstan", "Turkey", "Turkmeni... 
## $ year    <chr> "1996", "1995", "1995", "1995", "1996", "199... 
## $ status   <chr> "Completed", "Completed", "Completed", "Comp... 
## $ reports   <list> [<Final, https://mics-surveys-prod.s3.amazo... 
## $ archive   <chr> NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, ... 
## $ extra_info  <lgl> NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, ... 
## $ dataset.status <chr> "Not available", "Not available", "Not avail... 
## $ dataset.url  <chr> "", "", "", "", "", "", "", "", "", "", "", ... 

、同じデータだけでなく、より多くのデータ。

このURLは、トップのフィルタ行を作成するために使用されます（サイトでは、テーブルとフィルタ行を構築するためにXHRリクエストが行われます）。 CSVの「エクスポート」は、XHR URLを直接取得することができるため、実際には不要な追加ステップです（ここで行ったように）。