JavaScriptを使用したウェブサイトのスクラップに関するアドバイス

Question

ニューヨークマラソン2016（http://results.nyrr.org/event/M2016/finishers）のランナーズ情報を使ってデータベースを作成したいと考えています。これはjavascriptの重いサイトで、ランナーごとに「結果を展開」をクリックして情報を読み込む必要があります。ご覧のとおり、5万人以上のランナーがいるので、この作業は容易ではありません。

私はこれを行うためにPython-Seleniumを使用しようとしています。まず、すべてのランナーのリストが表示されるまで、「もっと見る」をクリックしました。次に、各ランナーの「Expand Results」ボタンをクリックし、最後にBeautifulSoupを使用して必要な情報を取得しました。このメソッドの問題は、クリックするボタンがないために非常に遅く、エラーが発生することです。

これを行う方法がいくつかありますか。このデータベースを作成するより良い方法はありますか？より良い方法や私の改善方法についてのアドバイスをいただければ幸いです。

Answer 1

以下のコードを試すことができます。スレッドを使用してパフォーマンスを向上させることもできます。

import json 

import requests 

API_URL = 'http://results.nyrr.org/api/runners/finishers' 
PAGE_SIZE = 51 


def get_page(index): 
    request = requests.post(API_URL, { 
     'ageGroup': None, 
     'city': None, 
     'eventCode': "M2016", 
     'gender': None, 
     'handicap': None, 
     'pageIndex': index, 
     'pageSize': PAGE_SIZE, 
     'runnerId': None, 
     'searchString': None, 
     'sortColumn': "overallTime", 
     'sortDescending': False 
    }) 
    data = json.loads(request.text).get('response', {}) 
    items = data.get('items', []) 
    store(items) 
    return len(items) > 0 


def store(items): 
    """Store items into database""" 
    # Write your code to store the given items 
    print(items) 


page = 1 
while get_page(page): 
    page += 1