2016-06-28 10 views
0

私は私のプロフィールからデータをこすりしたいが、私は使用のウェブサイトは、両方のログインで同じURLを持っており、この私のログインページとプロファイルのURLが同じである認証を使用してデータをスクラップする方法は?

import urllib, urllib2, cookielib 

username = 'myuser' 
password = 'mypassword' 

cj = cookielib.CookieJar() 
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj)) 
login_data = urllib.urlencode({'username' : username, 'j_password' : password}) 
opener.open('http://www.example.com/login.php', login_data) 
resp = opener.open('http://www.example.com/hiddenpage.php') 
print resp.read() 
+0

を必要とし、私も想像成功したログインにリダイレクトがありますが、あなたはそのURLを共有できますか? –

+0

demo.traccar.org –

+0

@Praneth、ログイン後に表示されるページのURLは、ロジックに使用するURLと同じではなく、データも完全に動的に作成されるため、ログインしてもほとんど役に立ちません。あなたが「http://demo.traccar.org/」にアクセスしたのと同じであることを実際に想像してください。 –

答えて

1

@Padraicカニンガムはそれに私を打つが、要求モジュールは何であるのための.soプロフィール`requests.Session()`、http://docs.python-requests.org/en/master/user/advanced/#session-objectsを使用

http://docs.python-requests.org/en/master/

import requests 

username = 'myuser' 
password = 'mypassword' 

s = requests.session() 
l = {'username': username, 
      'j_password': password} 
s.post('http://www.example.com/login.php', data=login) 
s.get('http://www.example.com/hiddenpage.php') 
関連する問題