python 3：受信403：要求使用時の禁止エラー

Question

HTTPエラー403：次の2つのコマンドのいずれかを使用して、禁止が生成されます。

requests.get('http://www.allareacodes.com')

urllib.request.urlopen('http://www.allareacodes.com')

しかし、私はクロームで、このウェブサイトを閲覧し、そのソースをチェックすることができています。また、cygwinのwgetもhtmlソースを取得することができます。

誰もがこのウェブサイトのソースを取得する方法を知っていますか？

Answer 1

リクエストのコードにエラーがあります。

ただし、ウェブサイトには、スクリプトが生のHTMLデータを取得しないようにする「noindex」ファイルがあります。解決策として、単純にヘッダーを偽装して、ウェブサイトがあなたが実際のユーザーだと思うようにします。

例：

import requests 
r = requests.get('http://www.allareacodes.com', headers={ 
    "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.106 Safari/537.36" 
}) 
print(r.text)