Pandas、列値の一意のサブセットに基づいて列を追加します

Question

私は多くの行を持つデータフレームを持っています。私はこのようなカスタム関数から生成されたデータを使用して列を、追加しています：それは正常に動作している

import numpy 

df['new_column'] = numpy.vectorize(fx)(df['col_a'], df['col_b']) 
# takes 180964.377 ms 

、私は何をしようとしていますが、それをスピードアップです。実際にはcol_aとcol_bというユニークな組み合わせの小さなグループしかありません。反復の多くは冗長です。私はたぶんpandasがそれだけでそれを理解するだろうと思っていたが、そうは思わない。冗長データがたくさんあるので、（私は何をしようとしていますが、大きなデータフレームを更新している、

df_unique['new_column'] = numpy.vectorize(fx)(df_unique['col_a'], df_unique['col_b']) 
# takes 14611.357 ms 

：私もこれを実行することによって可能スピードアップの自分自身を納得させ

print len(df.index) #prints 127255 
df_unique = df.copy().drop_duplicates(['col_a', 'col_b']) 
print len(df_unique.index) #prints 9834 

：これを考えてみましょうdf 127255行）、最小限の回数（9834回）のfx関数を実行するだけで済みます。これは、すべての重複行がcol_aとcol_bのためです。もちろん、col_aとcol_bの値が同じdfに複数の行がありますが、それはOKです。dfの他の列は異なるため、各行が一意になります。

私はdf_uniqueデータフレームをループにループの反復ノーマルを作成し、df上の条件付きのアップデートを行う前に、私は更新のこの種を行うより、「神託」きちんとした方法があったかお聞きしたかったのです。どうもありがとう。

** UPDATE **

私はこのような、上記のループのための簡単な作成

：

は、このforループを持つので

df = ... 
df_unique = df.copy().drop_duplicates(['col_a', 'col_b']) 
df_unique['new_column'] = np.vectorize(fx)(df_unique['col_a'], df_unique['col_b']) 
for index, row in df_unique.iterrows():   
    df.loc[(df['col_a'] == row['col_a']) & (df['col_b'] == row['col_b']),'new_column'] = row['new_column'] 
# takes 165971.890 

わずかな性能向上があるかもしれないではなく、ほとんど私は希望期待しています。

FYI

これはfx機能です。それはmysqlデータベースを照会します。

def fx(d): 
    exp_date = datetime.strptime(d.col_a, '%m/%d/%Y') 
    if exp_date.weekday() == 5: 
     exp_date -= timedelta(days=1) 

    p = pandas.read_sql("select stat from table where a = '%s' and b_date = '%s';" % (d.col_a,exp_date.strftime('%Y-%m-%d')),engine) 
    if len(p.index) == 0: 
     return None 
    else: 
     return p.iloc[0].close 

Answer 1

UPDATE：

tab = pd.read_sql('select stat,a,b_date from table', engine) 
df.merge(tab, left_on=[...], right_on=[...], how='left') 

OLD：あなたはtab DFにtableテーブルに属するあなたの3つの列['stat','a','b_date']を読むために管理することができるかどう

あなたはこのようにそれをマージすることができ答え：

あなたは事前に計算df_unique DFが元df DFと結合/マージすることができます

df['new_column'] = df.merge(df_unique, on=['col_a','col_b'], how='left')['new_column'] 

Answer 2

MaxUの答えは、すでにあなたが望むものになることがあります。しかし、もう少し速いかもしれない別のアプローチを示します（私は測定しませんでした）。

私がいることを前提としています

dfが（ない場合は、あなたには、いくつかの一時を作成することが一意のインデックスを持っている（これは重要です）、すべて同じエントリが連続した行になるように

1. df[['col_a', 'col_b']]がソートされていますユニークなインデックス）。

私はdf_unique.indexがdf.indexのサブセットであるという事実を使用します。