暗号化されたWebページをダウンロード

Question

こんにちは私はこれを研究しましたが、私はこの質問を見つけることができません。私は検索のための文字列にWebページのサブディレクトリをダウンロードする必要がある、私はこれを行う必要がありますが、唯一の問題は、サイトが暗号化されており、ディレクトリにアクセスするためのログインが必要です。私はダウンロードを要求するためにクッキーを送る必要があることを知っていますが、私はこれを行う方法がわかりません。私はPythonをコーディングしています。詳細はお気軽にお問い合わせください。

Answer 1

import urllib 
import urllib2 
import cookielib 
import time 

# All your cookie related things are done by this. 
cookie_jar = cookielib.CookieJar() 
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie_jar)) 
urllib2.install_opener(opener) 


#POST Parameters for login page. 
request_body_params = {'your_parameter_name': 'its_value', 'another_parameter_name': 'its_value'} 


data_encoding = urllib.urlencode(request_body_params) 
url_main = 'https://your_site.com/login' 

main_request = urllib2.Request(url_main, data_encoding) 

#Any headers required goes here. 
main_request.add_header('Accept-encoding', 'gzip') 

# This is the response of login. You don't want to read this. 
main_response = urllib2.urlopen(main_request) 

# You want data from this link. 
url_results = 'https://your_site.com/sub_directory' 
results_response = urllib2.urlopen(url_results) 

print results_response.read() 

ブラウザからサイトに移動し、[ソースの表示]をクリックし、ビューソースの[ネットワーク]に移動します。ブラウザにログインすると、ネットワークログが生成され、リンクをクリックしてPOSTパラメータとヘッダーをチェックします。