大規模なデータフレームでの日付減算の最適化 - パンダ

Question

私は初心者でPythonを学んでいます。私は非常に大規模なデータセットを持っています - これをより速く実行するためにコードを最適化するのに問題があります。

私の目標は、（私の現在のコードはなく、遅い動作します）、このすべてを最適化することである。その減算の結果と新しい列を作成します

1. 減算2つの日付の列

3. 元の2列を削除する

4. すべてを高速で実行します

ランダム見つかっ： はメソッド読み込む初期ファイルを変更することを考える... https://softwarerecs.stackexchange.com/questions/7463/fastest-python-library-to-read-a-csv-file

私が持っているparse_dates = CSVファイルを読み込むときに真 - そう、これは減速だろうか？私は50以上の列を持っていますが、1つのタイムスタンプ列と1年間の列しかありません。

このコラム：

（これは1996年1月1日のような形式に変換する必要があります？）を差し引い

  saledate 
1   3/26/2004 0:00 
2   2/26/2004 0:00 
3   5/19/2011 0:00 
4   7/23/2009 0:00 
5   12/18/2008 0:00 

：

  YearMade 
1   1996 
2   2001 
3   2001 
4   2007 
5   2004 

現在のコード：

mean_YearMade = dfx[dfx['YearMade'] > 1000]['YearMade'].mean() 

def age_at_sale(df, mean_YearMade): 
    ''' 
    INPUT: Dateframe 
    OUTPUT: Dataframe 
    Add a column called AgeSale 
    ''' 
    df.loc[:, 'YearMade'][df['YearMade'] == 1000] = mean_YearMade 
    # Column has tons of erroneous years with 1000 
    df['saledate'] = pd.to_datetime(df['saledate']) 
    df['saleyear'] = df['saledate'].dt.year 
    df['Age_at_Sale'] = df['saleyear'] - df['YearMade'] 
    df = df.drop('saledate', axis=1) 
    df = df.drop('YearMade', axis=1) 
    df = df.drop('saleyear', axis=1) 
    return df 

どんな最適化のトリックも大いに評価されるでしょう...

Answer 1

subを減算に使用し、条件で使用するとlocをmaskとし、dfx['YearMade'] > 1000を使用してみることができます。列saleyearも作成する必要はありません。

dfx['saledate'] = pd.to_datetime(dfx['saledate']) 
mean_YearMade = dfx.loc[dfx['YearMade'] > 1000, 'YearMade'].mean() 

def age_at_sale(df, mean_YearMade): 
    ''' 
    INPUT: Dateframe 
    OUTPUT: Dataframe 
    Add a column called AgeSale 
    ''' 
    df.loc[df['YearMade'] == 1000, 'YearMade'] = mean_YearMade 
    df['Age_at_Sale'] = df['saledate'].dt.year.sub(df['YearMade']) 
    df = df.drop(['saledate', 'YearMade'], axis=1) 
    return df