ネストされたjsonリストからパンダのDataFrameをフラット化

Question

おそらく誰かが私を助けることができました。私はパンダのデータフレームにフラットに次のイストを試してみました：

[{u'_id': u'2', 
    u'_index': u'list', 
    u'_score': 1.4142135, 
    u'_source': {u'name': u'name3'}, 
    u'_type': u'doc'}, 
{u'_id': u'5', 
    u'_index': u'list', 
    u'_score': 1.4142135, 
    u'_source': {u'dat': u'2016-12-12', u'name': u'name2'}, 
    u'_type': u'doc'}, 
{u'_id': u'1', 
    u'_index': u'list', 
    u'_score': 1.4142135, 
    u'_source': {u'name': u'name1'}, 
    u'_type': u'doc'}] 

結果は次のようになります。

|_id | _index | _score | name | dat  | _type | 
------------------------------------------------------ 
|1  |list |1.4142..| name1| nan  | doc | 
|2  |list |1.4142..| name3| nan  | doc | 
|3  |list |1.4142..| name1| 2016-12-12 | doc | 

しかし、私が何をしようとしたすべては望ましい結果を取得することはできません。 私はこのようなものを使用：

df = pd.concat(map(pd.DataFrame.from_dict, res['hits']['hits']), axis=1)['_source'].T 

をしかし、その後、私は_sourceフィールドの外にあるタイプがWICH失います。 私はまた

test = pd.DataFrame(list) 
for index, row in test.iterrows(): 
    test.loc[index,'d'] = 

で動作するようにしようとしたしかし、私は、フィールド_sourceを使用することをポイントに来て、元のデータフレームにそれを追加する方法は考えています。

誰かがそれをどのようにして希望の結果になるか考えていましたか？

Answer 1

使用json_normalize：

from pandas.io.json import json_normalize 

df = json_normalize(data) 
print (df) 
    _id _index _score _source.dat _source.name _type 
0 2 list 1.414214   NaN  name3 doc 
1 5 list 1.414214 2016-12-12  name2 doc 
2 1 list 1.414214   NaN  name1 doc