パンダKeyError：「['value']インデックスにありません」

Question

パンダのデータフレームのインデックスに問題があります。私がしようとしているのは、JSONファイルからデータをロードし、Pandasデータフレームを作成し、そのデータフレームから特定のフィールドを選択してデータベースに送信することです。あなたの助けのための https://pastebin.com/Bzatkg4L

import pandas as pd 
from pandas.io import sql 
import MySQLdb 
from sqlalchemy import create_engine 

# Open and read the text file where all the Tweets are 
with open('US_tweets.json') as f: 
    tweets = f.readlines() 

# Convert the list of Tweets into a structured dataframe 
df = pd.DataFrame(tweets) 
# Attributes needed should be here 
df = df[['created_at', 'screen_name', 'id', 'country_code', 'full_name', 'lang', 'text']] 

# To create connection and write table into MySQL 
engine = create_engine("mysql+pymysql://{user}:{pw}@localhost/{db}" 
         .format(user="blah", 
           pw="blah", 
           db="blah")) 

df.to_sql(con=engine, name='US_tweets_Table', if_exists='replace', flavor='mysql') 

ありがとう：

以下は、あなたが実際にフィールドが存在して見ることができるようにJSONファイルに何があるかへのリンクです！

Answer 1

Pandasは、JSONファイル内のすべてのオブジェクトをデータフレーム内の列にマッピングしません。

with open('tweets.json') as f: 
    df = pd.read_json(f, lines = True) 
df.columns 

戻り値：あなたのサンプルファイルは、24列が含まれ

Index(['contributors', 'coordinates', 'created_at', 'entities', 
    'favorite_count', 'favorited', 'geo', 'id', 'id_str', 
    'in_reply_to_screen_name', 'in_reply_to_status_id', 
    'in_reply_to_status_id_str', 'in_reply_to_user_id', 
    'in_reply_to_user_id_str', 'is_quote_status', 'lang', 'metadata', 
    'place', 'retweet_count', 'retweeted', 'source', 'text', 'truncated', 
    'user'], 
    dtype='object') 

はJSONデータを深く掘ることを、私はこの解決策を見つけたが、私はよりエレガントなアプローチが存在している願っています：How do I access embedded json objects in a Pandas DataFrame?

たとえば、df['entities'].apply(pd.Series)['urls'].apply(pd.Series)[0].apply(pd.Series)['indices'][0][0] は、117を返します。

full_nameにアクセスし、それがDFにコピーするには、これを試してください：0 Austin, TXを返す df['full_name'] = df['place'].apply(pd.Series)['full_name']を、。