pandasデータフレーム不等式でNaNを保持する

Question

私は約100列と200000行のデータを含むpandas.DataFrameオブジェクトを持っています。私はboolデータフレームに変換しようとしています。ここで、Trueは値がしきい値よりも大きいことを意味し、Falseはそれがより少なく、NaN値が維持されることを意味します。

何のNaN値がない場合、それは私が実行するために約60ミリ秒かかる：

df >= threshold 

をしかし、私はNaNを扱うしようとすると、以下の方法で動作しますが、非常に遅い（20秒）。

def func(x): 
    if x >= threshold: 
     return True 
    elif x < threshold: 
     return False 
    else: 
     return x 
df.apply(lambda x: x.apply(lambda x: func(x))) 

速い方法がありますか？

Answer 1

あなたが行うことができます。

new_df = df >= threshold 
new_df[df.isnull()] = np.NaN 

しかし、それはあなたが法を適用し使用し得るものと異なっています。ここでマスクにはNaN、0.0と1.0を含むfloat dtypeがあります。適用ソリューションでは、object dtypeをNaN、False、およびTrueで取得します。

あなたが望むものが得られない可能性があるため、マスクとして使用することもできません。 IEEEでは、NaNの比較はFalseを返さなければならず、applyメソッドは暗黙のうちにNaN！

最適なオプションは、NaNを別々に追跡することです。ボトルネックがインストールされている場合、df.isnull（）は非常に高速です。

Answer 2

あなたは別に、このポストを使用してNaNのためにチェックすることができます。Python - find integer index of rows with NaN in pandas

df.isnull() 

ビット単位を使用してdf >= thresholdでisnullの出力を組み合わせるか：あなたは二つのマスクがに近づく取ることを期待することができ

df.isnull() | df >= threshold 

計算と結合には200msが必要ですが、それは20秒から十分離れてOKになるはずです。

Answer 3

この状況では、0 = False、1 = True、NaN = missingのようなfloatのインジケータ配列を使用します。 bool dtypeのPandas DataFrameには値がない可能性があり、object dtypeのDataFrameにはPython boolとfloatオブジェクトが混在しています。これにより、np.float64 dtypeのDataFramesが使用されます。 numpy.sign(x - threshold)は、比較のために-1 =（x <のしきい値）、0 =（x == threshold）と+1 =（x>しきい値）を与えます。その変換をインプレースで行うことができます。 xはなし他のX 'でない場合、それはより速くかもしれない `リターンのx> =しきい値：この行で、あなたの` func`を交換してみ

In [45]: %timeit y = (x > 0); y[pd.isnull(x)] = np.nan 
100 loops, best of 3: 8.71 ms per loop 

In [46]: %timeit y = np.sign(x) 
100 loops, best of 3: 1.82 ms per loop 

In [47]: %timeit y = np.sign(x); y += 1; y /= 2 
100 loops, best of 3: 3.78 ms per loop