パンダを使用したインクリメンタルデータロード

Question

パンダを使用してインクリメンタルデータインポートを実装しようとしています。

私は2つのデータフレームdf_old（元のデータ、前にロード）とdf_new（新しいデータ、df_oldとマージする）を持っています。

df_old/df_newのデータは、複数の列で一意である （簡略化のために、単に2つを指定することができます：key1とkey2）。他の列はマージされるデータであり、val1とval2の2つだけです。これらの横に

、世話をする1つの以上の列があります：CHANGE_ID - それは輸入のロジックは非常に簡単です古いもの

を上書きし、新しい各エントリの増加：

1. があった場合df_newに新しい鍵ペア、次に、df_oldに存在df_newで鍵ペアがある場合

2. をdf_oldする（対応するVAL1/VAL2値で）添加されるべきである：

   2A）場合df_oldの値を対応するdf_oldに対応する値と異なるdf_newあり、df_newの値はdf_oldに古いものを交換する必要がある場合、古いもの）

   2B同じdf_new保たれるべきさ

3. >>> df_old = pd.DataFrame([['A1','B2',1,2,1],['A1','A2',1,3,1],['B1','A2',1,3,1],['B1','B2',1,4,1],], columns=['key1','key2','val1','val2','change_id']) 
   >>> df_old.set_index(['key1','key2'], inplace=True) 
   >>> df_old 
   
         val1 val2 change_id 
   key1 key2      
   A1 B2  1  2   1 
       A2  1  3   1 
   B1 A2  1  3   1 
       B2  1  4   1 
   
   >>> df_new = pd.DataFrame([['A1','B2',2,1,2],['A1','A2',1,3,2],['C1','B2',2,1,2]], columns=['key1','key2','val1','val2','change_id']) 
   >>> df_new.set_index(['key1','key2'], inplace=True) 
   >>> df_new 
   
         val1 val2 change_id 
   key1 key2      
   A1 B2  2  1   2 
       A2  1  3   2 
   C1 B2  2  1   2 
   

   ：

   （df_oldで一部のデータがdf_newには存在しないた、存在する場合）、これまでダラの削除について

を気にする必要はありません、私は2つの異なる解決策を思い付きました

ソリューションの仕事の1

# this solution groups concatenated old data with new ones, group them by keys and for each group evaluates if new data are different 
def merge_new(x):  
    if x.shape[0] == 1: 
     return x.iloc[0] 
    else: 
     if x.iloc[0].loc[['val1','val2']].equals(x.iloc[1].loc[['val1','val2']]): 
      return x.iloc[0] 
     else: 
      return x.iloc[1] 

def solution1(df_old, df_new): 
    merged = pd.concat([df_old, df_new]) 
    return merged.groupby(level=['key1','key2']).apply(merge_new).reset_index() 

ソリューション2

# this solution uses pd.merge to merge data + additional logic to compare merged rows and select new data 
>>> def solution2(df_old, df_new): 
>>> merged = pd.merge(df_old, df_new, left_index=True, right_index=True, how='outer', suffixes=('_old','_new'), indicator='ind') 
>>> merged['isold'] = (merged.loc[merged['ind'] == 'both',['val1_old','val2_old']].rename(columns=lambda x: x[:-4]) == merged.loc[merged['ind'] == 'both',['val1_new','val2_new']].rename(columns=lambda x: x[:-4])).all(axis=1) 
>>> merged.loc[merged['ind'] == 'right_only','isold'] = False  
>>> merged['isold'] = merged['isold'].fillna(True) 
>>> return pd.concat([merged[merged['isold'] == True][['val1_old','val2_old','change_id_old']].rename(columns=lambda x: x[:-4]), merged[merged['isold'] == False][['val1_new','val2_new','change_id_new']].rename(columns=lambda x: x[:-4])]) 

>>> solution1(df_old, df_new) 

    key1 key2 val1 val2 change_id 
0 A1 A2  1  3   1 
1 A1 B2  2  1   2 
2 B1 A2  1  3   1 
3 B1 B2  1  4   1 
4 C1 B2  2  1   2 


>>> solution2(df_old, df_new) 

      val1 val2 change_id 
key1 key2      
A1 A2  1.0 3.0  1.0 
B1 A2  1.0 3.0  1.0 
    B2  1.0 4.0  1.0 
A1 B2  2.0 1.0  2.0 
C1 B2  2.0 1.0  2.0 

の両方が、しかし、私はまだ巨大なデータフレーム上のパフォーマンスにはかなりがっかりしています。 質問があります：これを行うにはいくつかの良い方法はありますか？まともな速度向上は歓迎以上になるための任意のヒント...

>>> %timeit solution1(df_old, df_new) 
100 loops, best of 3: 10.6 ms per loop 

>>> %timeit solution2(df_old, df_new) 
100 loops, best of 3: 14.7 ms per loop 

Answer 1

はここで非常に高速だと、これを行うための一つの方法です：

merged = pd.concat([df_old.reset_index(), df_new.reset_index()]) 
merged = merged.drop_duplicates(["key1", "key2", "val1", "val2"]).drop_duplicates(["key1", "key2"], keep="last") 
# 100 loops, best of 3: 1.69 ms per loop 

# key1 key2 val1 val2 change_id 
# 1 A1 A2  1  3   1 
# 2 B1 A2  1  3   1 
# 3 B1 B2  1  4   1 
# 0 A1 B2  2  1   2 
# 2 C1 B2  2  1   2 

ここ根拠はすべての行を連結し、単にdrop_duplicatesを呼び出すことです結合ロジックに依存して必要な行を取得するのではなく、2回実行します。 drop_duplicatesを最初に呼び出すと、キー&の両方の列に一致するdf_newに由来する行が削除されます。このメソッドのデフォルトの動作では、重複する行の最初の行が保持されます（この場合、行はdf_old）。 2番目の呼び出しでは、キー列に一致する重複は削除されますが、各重複セットの行を保持することが指定されています（last）。

この方法では、行がchange_idにソートされていることが前提です。これは、例のDataFramesが連結されている順序を前提として、安全な前提です。実際のデータでこれが間違っていると思われる場合は、をmergedに送信してから、重複を削除してください。