Python：NBA.comからデータをスクレイピングする

Question

NBA.comからPythonを使用してデータをスクラップしようとしていますが、コードを実行したときに妥当な時間を待っても応答が返ってきません。本質的に似ているこれまでのところ、私はブログの記事（here）からコードを再現、および/または、このサイト（Python、R）に掲載の質問しようと試みてきた

import requests 
import json 

url_front = 'http://stats.nba.com/stats/leaguedashplayerstats?College=&' + \ 
      'Conference=&Country=&DateFrom=&DateTo=&Division=&DraftPick=&' + \ 
      'DraftYear=&GameScope=&GameSegment=&Height=&LastNGames=0&LeagueID=00&' + \ 
      'Location=&MeasureType=' 
url_back = '&Month=0&OpponentTeamID=0&Outcome=&PORound=0&PaceAdjust=N&' + \ 
      'PerMode=PerGame&Period=0&PlayerExperience=&PlayerPosition=&' + \ 
      'PlusMinus=N&Rank=N&Season=2016-17&SeasonSegment=&' + \ 
      'SeasonType=Regular+Season&ShotClockRange=&StarterBench=&TeamID=0&' + \ 
      'VsConference=&VsDivision=&Weight=' 
#measure_type = ['Base','Advanced','Misc','Scoring','Opponent','Usage','Defense'] 
measure_type = 'Base' 
address = url_front + measure_type + url_back 

# Request the URL, then parse the JSON. 
response = requests.get(address) 
response.raise_for_status()   # Raise exception if invalid response. 
data = response.json()    # JSON decoding. 

が、私は、それぞれ同じ結果に終わります時間 - コードは実際にURLから何かを引き出すことに成功しません。

私はウェブスクレイピングに慣れていないので、この問題のトラブルシューティングを支援したいと思っていました。これはクライアントサイドレンダリング（NBA.com）のサイトに共通しているか、コード/コンピュータの問題を示しています？いずれの場合も、一般的な回避策/解決策はありますか？

Answer 1

ブラウザのリンクをクリックすると、正常に動作することがわかります。その理由は、ブラウザとrequestsには異なるユーザーエージェントヘッダーがあり、そのサイトでは、スクラップしたくないためにブラウザからのように見えないHTTPリクエストがブロックされるためです。これを回避するには、次のようにします。

response = requests.get(address, headers={ 
    'User-Agent': 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:46.0) Gecko/20100101 Firefox/46.0', 
}) 

これを念頭に置いて、サーバーに過負荷をかけないでください。