ウェブサイトのリストパーサは

Question

は50社のリストをウェブサイトForbes Most Admired Companiesありますウェブサイトの負荷がより多くの作り方20個のアイテムを、検索して、私はそのリストを解析し、csvファイル

コードIにそれをエクスポートしようとしています下にスクロールしたときにページが読み込まれるため、私には20人しかいません。スクロールダウンをシミュレートする方法や、それを完全にロードする方法はありますか？

from lxml import html 
import requests 

def schindler(max): # create a list of the companies 
    page = requests.get('http://beta.fortune.com/worlds-most-admired-companies/list/') 
    tempContainer = html.fromstring(page.content) 
    names = [] 
    position = 1 

    while position <= max: 
     names.extend(tempContainer.xpath('//*[@id="pageContent"]/div[2]/div/div/div[1]/div[1]/ul/li['+str(position)+']/a/span[2]/text()')) 
     position = position + 1 

    return names 

（つまり、.CSV輸出国でも問題のみリスト作成なかった）

それを私は、チェクし、それを印刷し、唯一の20項目が

print(schindler(50)) 

Answer 1

リストに表示されますJSONとしてデータを取得できると思われます。 URLの20は開始するランク、30はアイテムの数です。

サンプルコード：

url = "http://fortune.com/api/v2/list/1918408/expand/item/ordering/asc/20/30" 

resp = requests.get(url) 
for entry in resp.json()['list-items']: 
    print(entry['rank'], entry['name'])