治療 - マニュアルログイン

Question

私は、一連のURLから特定の要素を掻くために、治療を使用して非常に簡単なスクレーパーを構築しています。しかし、私はこれを行うためにウェブサイトにログインする必要があり、私はスクレーパーのログイン部分を動かすことができません。

ウェブサイトに手動でログインして、スクレーパーに掻き取り作業をさせてもらえますか？

Answer 1

あなたが求めていることを理解していますが、あなたは単に手動でログインすることはできません。あなたはそれにクッキーを注入する必要があります。

私はこれを行うには見る最良の方法は、ログインして、それがscrapyを養うためにクッキーを作成できるようにセレンを使用して、ここで方法ですされています。コードはここにあるいくつかの調整が必要な場合がありますが、これは一般的である

def get_cookies(self): 
    driver = webdriver.Firefox() 
    base_url = "http://www.example.com/login" 
    driver.get(base_url) 
    #Code to login 
    driver.find_element_by_name("username").send_keys("my_username") 
    driver.find_element_by_name("password").send_keys("my_password") 
    driver.find_element_by_name("submit").click() 
    #get the cookies created 
    cookies = driver.get_cookies() 
    driver.close() 
    return cookies 

def parse(self, response): 
    return Request(url="http://my_domain.com/", 
    cookies=self.get_cookies(), 
    callback=self.login) 

def login(self, response): 
    #You'll have the cookies here 

アイディア