pythonリクエストはブラウザまたはurllibから別のWebページを返します

Question

私はいくつかのコンテンツのためにウェブページを掻き取る要求を使用します。
私は

import requests 
requests.get('example.org') 

を使用する場合、私は私がurllibを使用してみましたが、それは本当に遅かった私がbroswerを使用するか、

import urllib.request 
urllib.request.urlopen('example.org') 

を使用しているとき、私が得るものから別のページを取得します。
比較テストでは、私はrequestsより50％遅かったです！

どのようにこれを解決しますか？

Answer 1

多くの調査の結果、サイトは、サイトの最初の訪問者にのみ添付されたヘッダーにクッキーを渡すことがわかりました。

ので、解決策はhead要求にクッキーを取得することで、その後、あなたのget要求

import requests 
# get the cookies with head(), this doesn't get the body so it's FAST 
cookies = requests.head('example.com') 
# send get request with the cookies 
result = requests.get('example.com', cookies=cookies) 

でそれらを再送信し、今ではurllibは+同じ結果:)