辞書でデータフレームを展開する

Question

ほとんどのNaNを含むデータフレームがありますが、特定のエントリには辞書もあります。私の目標は、これらの辞書をデータフレームの列に展開し、それぞれのインデックスにエントリを保持することです。 これは、データフレームの小さな部分の外観です。

                 _id _score 
query               
chrM:g.146T>C               NaN NaN 
chrM:g.11723C>T               NaN NaN          NaN NaN 
chrM:g.11813A>G               NaN NaN 
chrM:g.12140T>A               NaN NaN 
...                  ... ...  
chr1:g.11976370T>G   {u'ref': u'T', u'alleles': [{u'allele': u'T', ... NaN 
chr1:g.12007164A>G              NaN NaN 
chr1:g.12007165A>G              NaN NaN 

はこれまでのところ、私はちょうど、各辞書のキーを選んで、これらのキーと名前の列を追加するために管理してきました：

s ={} 
for cols in cols: 
    if type(data1[cols].dropna()[0]) == type(s): 
     cols_var = np.array(data1[cols].dropna()[0].keys()) 
     data1 = pandas.concat([data1,pandas.DataFrame(columns=cols_var)]) 

効率的にこれを行う方法上の任意のヘルプやヒントをし、読めるようになります。

** EDIT：**このコード：

allele_origin     unspecified 
alleles       [{u'allele': u'G'}, {u'allele': u'A'}]  
alt        A 
...        ... 
rsid        rs201327123 
vartype       snp 
dtype: object 

私はここから作業をしてみてくださいよ、他の入力がはるかに高く評価されています

y = pandas.Series((dbsnp.iloc[0])) 
print y 

しかし多少役に立つ何かを取得します。

Answer 1

複数の列を持つデータフレームに辞書を展開するには、辞書をパンダシリーズとして返す関数applyを用意する必要があります。これを行うには、まずNaNの値を削除する必要があります。

最初の列：s = data1['_id'].dropna()から始めましょう。以下は辞書から作られた拡張データフレーム戻ります：

expanded_df = s.apply(lambda row: pandas.Series(row)) 

このシリーズに辞書を変換ラムダ（すなわちインライン）関数を利用します。これで、オリジナルのもので、拡張データフレームをマージすることができます

pandas.concat([data1, expanded_df], axis=1) 

concat関数は、インデックスによって行が一致し、かつexpanded_dfに欠けているインデックスのNaN値を入れます。便利なのは、最初のステップでdropnaで削除した行だけです。

data1のすべての列に対して、元のように列を反復するか、data1にapplyを使用してこれを行うことができます。