パンダの列の線形結合を効率的に計算する方法は？

Question

は、私は次の計算を実行する必要があります。user_product iが生成する新しいカラムがある

priors['user_product'] = priors.eval('product_id + user_id*100000') 

。 事前分布のデータフレームが巨大であるため、計算は時間がかかるが（正確には、3000000行を持っている）

Answer 1

あなたは高速したい場合は、numpyまたはnumexprまたは通常pandas

pandas

を使用することができます

priors['user_product'] = priors.product_id + 100000 * priors.user_id 

numpy

priors['user_product'] = priors.product_id.values + 100000 * priors.user_id.values 

numexpr

pid = priors.product_id.values 
uid = priors.user_id.values 
priors['user_product'] = numexpr.evaluate('pid + 100000 * uid') 

タイミング

n = 3000000 
priors = pd.DataFrame(dict(product_id=np.random.rand(n), user_id=np.random.rand(n))) 

%timeit priors['user_product'] = priors.eval('product_id + 100000 * user_id') 
%timeit priors['user_product'] = priors.product_id.values + 100000 * priors.user_id.values 
%timeit priors['user_product'] = priors.product_id + 100000 * priors.user_id 

10 loops, best of 3: 31.6 ms per loop 
100 loops, best of 3: 17.6 ms per loop 
100 loops, best of 3: 18.5 ms per loop 

%%timeit 
pid = priors.product_id.values 
uid = priors.user_id.values 
priors['user_product'] = numexpr.evaluate('pid + 100000 * uid') 

100 loops, best of 3: 13.6 ms per loop