パンダデータフレームの値を高速に拡張する

Question

私はこのようなデータフレームを持っているとしましょう。

df = pd.DataFrame( data = np.random.random((10,3)), 
        columns = [ 'Year', 'Var1', 'Var2' ], 
        index = np.arange(10)) 
df.Year = np.repeat([2000, 2001], 5) 

>>> df 
    Year  Var1  Var2 
0 2000 0.811247 0.483376 
1 2000 0.707072 0.514624 
2 2000 0.457840 0.246798 
3 2000 0.000576 0.105618 
4 2000 0.825557 0.044757 
5 2001 0.350272 0.406710 
6 2001 0.176377 0.084755 
7 2001 0.039902 0.510173 
8 2001 0.631718 0.136885 
9 2001 0.441104 0.831035 

私は2001年の値を2200まで繰り返す必要があります。これは現在私がこれを行う方法です。

df2001 = df[ df.Year == 2001 ] 
extensionRange = np.arange(2002, 2200 + 1) 
for year in extensionRange: 
    df2001.Year = year 
    df = df.append(df2001) 

>>> df.tail(10) 
    Year  Var1  Var2 
5 2199.0 0.350272 0.406710 
6 2199.0 0.176377 0.084755 
7 2199.0 0.039902 0.510173 
8 2199.0 0.631718 0.136885 
9 2199.0 0.441104 0.831035 
5 2200.0 0.350272 0.406710 
6 2200.0 0.176377 0.084755 
7 2200.0 0.039902 0.510173 
8 2200.0 0.631718 0.136885 
9 2200.0 0.441104 0.831035 

私の実際のデータフレームはかなり大きく、このプロセスは完了するまでに約1分かかります。これを行うより速い方法がありますか？おそらく追加なし？

Answer 1

追加するたびに、高価な新しいコピーを作成しています。 1回の操作ですべてのデータフレームを連結する場合は、時間がかかることがあります。

new_df = pd.concat([df] * len(np.arange(2002, 2200 + 1))) 

%timeit new_df = pd.concat([df] * len(np.arange(2002, 2200 + 1))) 
100 loops, best of 3: 20.5 ms per loop 

これにより、新しいデータフレームを作成する際に時間が節約されますが、「年」の列を変更する必要があります。それは単に年の変更を達成することができ、あなたは基本的に年間の繰り返しで初期データフレームの長さをリストのリストを作成している

import itertools 
years = [[year]*len(df) for year in np.arange(2002, 2200 + 1)] 
new_df['Year'] = itertools.chain(*years) 

%timeit new_df['Year'] = itertools.chain(*[[year]*len(df) for year in np.arange(2002, 2200 + 1)]) 
1000 loops, best of 3: 424 µs per loop 

をたどるように、1回の操作で実現することができます。

Answer 2

numpyのタイルを使用し、繰り返し

df = pd.DataFrame(data = np.random.random((10,3)), 
        columns = ['Year','Var1','Var2'], 
        index = np.arange(10)) 
df.Year = np.repeat([2000, 2001], 5) 

# assign variables 
max_year = 2200 
unique_year = 2000 
rows_each_year = 5 

year_clone_count = max_year - unique_year 
# grab values from input dataframe as numpy arrays, tile values to repeat 
base = df[df.Year == unique_year][['Var1', 'Var2']].values 
extended = np.tile(df[df.Year == unique_year + 1][['Var1', 'Var2']].values.T, 
        year_clone_count).T 

# join non-repeat data with repeated data 
data = np.concatenate((base, extended)) 

# make year column 
year_col = np.repeat(range(unique_year, max_year + 1), 
        rows_each_year) 

# create dataframe 
df_out = pd.DataFrame({'Year': year_col, 
         'Var1': data[:, 0], 
         'Var2': data[:, 1]})