複数のデータフレームを同時にトラバース

Question

時間、コンパスデータ、加速度計データ、ジャイロスコープデータ、カメラパン情報など、同じ列名を持つ3人のユーザーからなる3つのデータフレームがあります。私はすべてのデータフレームを同時に走査して、ユーザーがカメラのパンを行い、特定の時間（データフレームのパンが特定の時間に検出されたような）を返す特定の時間をチェックしたい。私は並列処理を達成するためにダッシュを使用しようとしましたが、無駄です。以下は私のコードです

import pandas as pd 
import glob 
import numpy as np 
import math 
from scipy.signal import butter, lfilter 
order=3 
fs=30 
cutoff=4.0 

data=[] 
gx=[] 
gy=[] 
g_x2=[] 
g_y2=[] 


dataList = glob.glob(r'C:\Users\chaitanya\Desktop\Thesis\*.csv') 
for csv in dataList: 
     data.append(pd.read_csv(csv)) 
for i in range(0, len(data)): 
    data[i] = data[i].groupby("Time").agg(lambda x: x.value_counts().index[0]) 
    data[i].reset_index(level=0, inplace=True) 

def butter_lowpass(cutoff,fs,order=5): 
    nyq=0.5 * fs 
    nor=cutoff/nyq 
    b,a=butter(order,nor,btype='low', analog=False) 
return b,a 
def lowpass_filter(data,cutoff,fs,order=5): 
    b,a=butter_lowpass(cutoff,fs,order=order) 
    y=lfilter(b,a,data) 
return y 

for i in range(0,len(data)): 
    gx.append(lowpass_filter(data[i]["Gyro_X"],cutoff,fs,order)) 
    gy.append(lowpass_filter(data[i]["Gyro_Y"],cutoff,fs,order)) 

    g_x2.append(gx[i]*gx[i]) 
    g_y2.append(gy[i]*gy[i]) 


g_rad=[[] for _ in range(len(data))] 
g_ang=[[] for _ in range(len(data))] 

for i in range(0,len(data)): 
    for j in range(0,len(data[i])): 
      g_ang[i].append(math.degrees(math.atan(gy[i][j]/gx[i][j]))) 


    data[i]["Ang"]=g_ang[i] 


panning=[[] for _ in range(len(data))] 
for i in range(0,len(data)): 
    for j in data[i]["Ang"]: 
     if 0-30<=j<=0+30: 
      panning[i].append("Panning") 
     elif 180-30<=j<=180+30: 
      panning[i].append("left") 
     else: 
      panning[i].append("None") 
    data[i]["Panning"]=panning[i] 
result=[[] for _ in range(len(data))] 
for i in range (0,len(data)): 
    result[i].append(data[i].loc[data[i]['Panning']=='Panning','Ang']) 

Answer 1

私はあなたが時間内に同時にトラバースしたいと仮定します。いずれの場合でも、3つのデータフレームにトラバースするディメンションのインデックスが必要です。

9秒間にランダム秒を表す行で3つのデータフレームを生成します。

次に、ギャップの最後の既知のデータを参照できるように、これらをpd.concatとffillに揃えます。

seconds = pd.date_range('2016-08-31', periods=10, freq='S') 

n = 6 
ssec = seconds.to_series() 
sidx = ssec.sample(n).index 

df1 = pd.DataFrame(np.random.randint(1, 10, (n, 3)), 
        ssec.sample(n).index.sort_values(), 
        ['compass', 'accel', 'gyro']) 

df2 = pd.DataFrame(np.random.randint(1, 10, (n, 3)), 
        ssec.sample(n).index.sort_values(), 
        ['compass', 'accel', 'gyro']) 

df3 = pd.DataFrame(np.random.randint(1, 10, (n, 3)), 
        ssec.sample(n).index.sort_values(), 
        ['compass', 'accel', 'gyro']) 

df4 = pd.concat([df1, df2, df3], axis=1, keys=['df1', 'df2', 'df3']).ffill() 
df4 

あなたはその後、iterrows()

for tstamp, row in df4.iterrows(): 
    print tstamp