CSV（ページ区切り）のページ番号

Question

Pythonを使用してCSVバージョンのAPI呼び出しをページングする方法を教えてください。

JSON呼び出しのメタデータにはレコードの総数が含まれていますが、CSV呼び出しには似たような情報は含まれていません。ページパラメータを増やそうとするとループを止める場所がわかりません。

以下は私のコードです：これは最初の20回の結果とのデータフレームをロード

url = 'https://api.data.gov/ed/collegescorecard/v1/schools.csv' 

payload = { 
    'api_key': '4KC***UNKk', 
    'fields': 'school.name,2012.repayment.2_yr_default_rate', 
    '_page' : '0' 
} 

r = requests.get(url, params=payload) 
df = pd.read_csv(r.url) 

が、私はすべての結果をデータフレームをロードしたいと思います。

Answer 1

&_per_pageオプションパラメータを使用して、1コールあたりの選択肢数を編集します。 &_per_page=200に設定すると、100行のCSVが返されるため、100が最大であると想定できます。

今では、コールごとの最大値を知っている、と我々はそうのように、私たちが必要なものを得るためにforループを実行するために、総呼び出し、その可能性を持っていること：その結果をループになるまで意志

url = 'https://api.data.gov/ed/collegescorecard/v1/schools.csv' 
apikey = '&api_key=xxx' 
fields = '&_fields=school.name,2012.repayment.2_yr_default_rate' 
pageA = '&_page=' 
pageTotal = '&_per_page=' 
pageNumbersMaximum = 10 
rowSum = 200 
for page in range(pageNumbersMaximum): 
    fullURL = url + pageA + str(page) + pageTotal + str(rowSum) + fields + apikey 
    print(fullURL) 
    print("Page Number: " + str(page) + ", Total Rows: " + str(rowSum)) 
    rowSum += 200 

それは合計7000になる。