urllib.error.URLError：HTTPエラー403：urllib.request.urlopenから禁止

Question

ulrステータスをurllib.request.urlopenで取得しようとしていますが、場合によってはurllib.error.URLError: HTTP Error 403: ForbiddenブラウザからこのURLを正常に開くことができます。 urllib以上でこの問題を克服することは可能ですか？

def urllib_status(url): 
    REQUEST_TIMEOUT = 10 

    if 'http' not in url: 
     url = 'http://' + url 

    try: 
     response = urllib.request.urlopen(url, timeout=REQUEST_TIMEOUT) 
     return response.status 
    except urllib.error.URLError as e: 
     print('url:'+url) 
     print('urllib.error.URLError:', e) 
     return -1 
    except ssl.SSLError as e: 
     print('url:'+url) 
     print('ssl.SSLError:', e) 
     return -1 
    except socket.error as e: 
     print('url:'+url) 
     print("socket.error: ", e) 
     return -1 

Answer 1

それはrequestsを使用してsimlerです：

def url_status(url): 
    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.0; WOW64; rv:24.0)' 
          ' Gecko/20100101 Firefox/24.0'} 
    REQUEST_TIMEOUT = 10 

    if 'http' not in url: 
     url = 'http://' + url 
    try: 
     response = requests.get(url, headers=headers, timeout=REQUEST_TIMEOUT) 
     if(response.status_code != 200): 
      print(url) 
      print('status',response.status_code) 
     return response.status_code 
    except Exception as e: 
     print(url) 
     print('Error',e) 
     return -1 

Answer 2

問題は、ブラウザ以外の要求を受け入れていないサイトが原因である可能性が高いです。リクエストのUser-Agentヘッダーをオーバーライドすることで回避できます（デフォルトはPython-urllib/3.X）。 Python docsから

：

import urllib.request 
opener = urllib.request.build_opener() 
opener.addheaders = [('User-agent', 'Mozilla/5.0')] 
opener.open('http://www.example.com/') 

それとも、あなたは

import requests 
requests.get('http://www.example.com/', headers={'User-agent': 'Mozilla/5.0'})