リクエストによるPython Webのスクレイピング自動ログインが機能しない

Question

私は、Python requestsモジュールを使用してWebサイトをスクレープしようとしています。サイトにログインして、必要なデータを取得する必要がありました。私はどこからでも見てきましたが、それがなぜ機能していないのかを知ることはできません。ここに私のコードは、これまでのところです：私はそれが私もののボタンをクリックして、ユーザーが必要なウェブサイトとしなければならない可能性があると考えている

<input name="username" type="text" id="username" class="metro-input" placeholder="Username" value=""> 
<span id="username-error" class=""></span> 
<label class="ie789Only"> Password</label> 
<input name="password" type="password" id="password" class="metro-input" placeholder="Password"> 
<input type="submit" name="button1" value="Sign in" id="button1" class="metro-button"> 

：

import requests 
import bs4 as bs 

login_url = "__withheld__" 
target_url = "__withheld__" 

login_data = { "username": "my_username", "password": "my_password"} 

with requests.Session() as s: 
    page = s.get(login_url) 
    page_login = s.post(login_url, data = login_data) 
    page = s.get(target_url) 
    final_page = bs.BeautifulSoup(page.content, 'lxml') 
    print(final_page.title) 

これは、パスワードボックスのhtmlです解決策を見つけることができませんでした。私は自分自身でログインしたときに、開発者コンソールの投稿フォームを探してみましたが、パスワード/ユーザー名の概要を明確にしたフォームは見つかりませんでした。どんな助けもありがとうございます。これは任意のヘルプであれば

更新 ここでは、同じセキュリティ機能と同じ会社（プライバシー）が運営するサイトへのリンクです：https://ashwood-vic.compass.education/login.aspx?sessionstate=disabled

Answer 1

あなたは

import requests 
import bs4 as bs 
username = 'username of the site' 
password = 'password of the site' 

req = requests.get(login_url, auth=(username, password)) 
final_page = bs.BeautifulSoup(req.content, 'lxml') 
print(final_page.title) 

一度コードの下にこれを試すことができます

- ご参考にしてくださいhttp://docs.python-requests.org/en/master/user/authentication/#basic-authentication