私はhomedepot.comからデータをスクラップするためのRスクリプトを設定しています。それは、私は地元の店を設定する必要がある製品の在庫レベルをこすりたいという点を除いて、うまくいく。私は成功を収めずにこれを行うためにいくつかの方法を試みました。 homedepot.comでローカルストアを設定するにはどうすればよいですか?私は解決策に私を導いていないこれらの関連の質問を発見した : (R language) How to make a click on webpage using rvest or rcurlRのREST/httrでクッキーを送信する/フォームを送信する:ウェブスクレイピングのためにローカルストアを設定するときの問題
Submit form with no submit button in rvest
How to properly set cookies to get URL content using httr
さらに詳しい情報: - ストアの場所コードはTHDと呼ばれるクッキーに保存されているように見えます-LOC-STORE(4桁の店舗ID付き)。私はこのクッキーを設定するには成功していない:
library("rvest")
library("httr")
# try to set cookie in site with store ID:
session <- html_session("http://www.homedepot.com", set_cookies('THD-LOC-STORE'='2679'))
# if this worked, it would show the store name instead of "Select a Store":
storefinder <- session %>% read_html() %>% html_nodes(".headerStoreFinder") %>% html_text() %>% gsub("\\t","",.)
storefinder
cookies(session)
私もrvestでsubmit_form()
を使用して考えたが、店舗を選択するためのボタンではJavaScriptによって運営されており、何も選択してボタンをSUBMITはありません。
Skiping home depotはT&Cに違反しており、LinkedInのおかげで、2016/7にはいくつかのケースがあり、広範囲のrobots.txtファイルがあります。これは、バイパスがCFAAに違反していることを示しています。 – hrbrmstr