apply（）に渡されたカスタム関数の前回の計算結果にアクセスします。

Question

私はPythonでPandasを使っていますが、カスタム関数をシリーズに適用すると前回の計算結果にアクセスしたいと思います。

大体このような：

import pandas 

# How can I obtain previous_result? 
def foo(value, previous_result = None): 

    # On the first iteration there is no previous result 
    if previous_result is None: 
     previous_result = value 

    return value + previous_result 

series = pandas.Series([1,2,3]) 
print(series.apply(foo)) 

また、これは、「関数にn前の結果を渡す方法は？」に一般化することができます。私はseries.rolling()について知っていますが、ローリングしても前のの結果を得ることができませんでした。の入力シリーズの以前の値のみを取得できました。

Answer 1

あなたが記述の操作のほとんどの特殊なタイプはcummax、cummin、cumprodとcumsum（f(x) = x + f(x-1)）として利用できます。

多くの機能がexpandingオブジェクトで見つけることができます：平均値、標準偏差、分散尖度、歪度、相関など

そして、最も一般的な場合のために、あなたはカスタム関数でexpanding().apply()を使用することができます。例えば、

from functools import reduce # For Python 3.x 
ser.expanding().apply(lambda r: reduce(lambda prev, value: prev + 2*value, r)) 

は f(x) = 2x + f(x-1)

私は最適化され、非常に高速に実行されている記載された方法は同等ですが、カスタム関数を使用するときにパフォーマンスが悪化します。指数平滑のために、パンダは、長さ1000のシリーズのためのループをアウトパフォームする起動しますが、減らすとexpanding().apply()のパフォーマンスはかなり悪いです：

ループ付き

np.random.seed(0)  
ser = pd.Series(70 + 5*np.random.randn(10**4))  
ser.tail() 
Out: 
9995 60.953592 
9996 70.211794 
9997 72.584361 
9998 69.835397 
9999 76.490557 
dtype: float64 


ser.ewm(alpha=0.1, adjust=False).mean().tail() 
Out: 
9995 69.871614 
9996 69.905632 
9997 70.173505 
9998 70.139694 
9999 70.774781 
dtype: float64 

%timeit ser.ewm(alpha=0.1, adjust=False).mean() 
1000 loops, best of 3: 779 µs per loop 

：

def exp_smoothing(ser, alpha=0.1): 
    prev = ser[0] 
    res = [prev] 
    for cur in ser[1:]: 
     prev = alpha*cur + (1-alpha)*prev 
     res.append(prev) 
    return pd.Series(res, index=ser.index) 

exp_smoothing(ser).tail() 
Out: 
9995 69.871614 
9996 69.905632 
9997 70.173505 
9998 70.139694 
9999 70.774781 
dtype: float64 

%timeit exp_smoothing(ser) 
100 loops, best of 3: 3.54 ms per loop 

合計時間はミリ秒単位ではなくて、まだですexpanding().apply()：cumminよう

ser.expanding().apply(lambda r: reduce(lambda p, v: 0.9*p+0.1*v, r)).tail() 
Out: 
9995 69.871614 
9996 69.905632 
9997 70.173505 
9998 70.139694 
9999 70.774781 
dtype: float64 

%timeit ser.expanding().apply(lambda r: reduce(lambda p, v: 0.9*p+0.1*v, r)) 
1 loop, best of 3: 13 s per loop 

方法は、cumsumは最適化されたとだけされていますxの現在の値と関数の前の値が必要です。しかし、カスタム関数では、複雑さはO(n**2)です。これは主に、関数の前の値とxの現在の値が関数の現在の値を計算するのに十分でない場合があるためです。 cumsumでは、以前のcumsumを使用して現在の値を加算して結果に到達することができます。あなたは、例えば、幾何平均のためにそれを行うことはできません。だから、expandingは適度なサイズのシリーズでも使用できなくなります。

一般に、一連の繰り返しは非常に高価な操作ではありません。 DataFramesの場合は、各行のコピーを返す必要がありますので、非常に効率が悪いですが、Seriesではそうではありません。もちろん、利用可能な場合はベクトル化されたメソッドを使用するべきですが、そうでない場合は、再帰的計算のようなforループを使用するとOKです。