JSONデータのスクレイピングのためにPythonのヘルプが必要

Question

私はウェブサイトからデータをスクレイピングするために以下のコードを使用しています。私は直面しているkey error: 0

私のコードの問題を親切に教えてください。 Webページから

オリジナルJSONレスポンス： https://www.demo.com/api/user_details/22

応答：

{"user_details":{"user_id":"22","username":"Test","user_email":"test@gmail.com"}} 

私はしたいがusername、user_idとuser_emailこすり。

import json 
import requests 
import datetime 

#data outputs to a CSV file in the current directory 
csv_output = open("test.csv", "w") 

end_page = 5; 

#scan through pages 1 to end_page for data, 20 results per page 
for page in range(1,end_page+1): 
    r = requests.get('https://www.demo.com/api/user_details/' + str(page)) 
    data = r.json() 
    for index in range(len(data["user_details"])): 

     csv_output.write("\"%s\",%s\n" % (data["user_details"][index]["user_id"].encode('ascii', 'ignore'))), 

     data["user_details"][index]["user_id"] 

csv_output.close() 

Answer 1

data["user_details"]はdictのとないリストであり、あなたは、インデックスを使用して値にアクセスしようとしているので、あなたがエラーを取得しています：

data["user_details"][index] .... 

あなたは、私が試してみました何

dictからの特定のキーにアクセスすることによってエントリを得ることができる。

user_id = data["user_details"]['user_id'] 
username = data["user_details"]['username'] 
user_email = data["user_details"]['user_email'] 

Answer 2

{"user_details":{"user_id":"22","username":"Test","user_email":"test@gmail.com"}} 

ユーザーの詳細はこちらの辞書です。一方、indexはrangeコールからの整数です。最初の値は0です。あなたのコードはdata["user_details"][0]を読み込もうとします。しかしその辞書には鍵0はありません。

辞書を反復処理するには、(key, value)ペアのタプルを与えるitemsメソッドを呼び出すことができます。 asnwered AKSまさに

d = {"user_id":"22","username":"Test","user_email":"test@gmail.com"} 
for k,v in d.items(): 
    print("Key: {}, Value: {}".format(k,v)) 

Answer 3

が、私は本当にあなたがa framework called Scrapy tocreateクローラを使用することをお勧めします。ずっと簡単。 :)