大規模なデータセットから毎日1時間ごとに500件のエントリを抽出するにはどうすればよいですか？

Question

私は、ほぼ200万のエントリを持つDataFrameを持っています。このDataFrameのサブセットを作成したいと思います。

特に、私が望むのは、データセット内の毎日の1時間ごとに500のエントリを取ることです。結果は新しいDataFrame resに保存する必要があります。 datetime_eventという列があり、datesは次のように作成されます。dates = pd.to_datetime(df['datetime_event'])

これは私のコードですが、終了するまでに数時間かかります。例えば、applyとlambdaを使用して、それを少し最適化することは可能ですか？

counter = 0 
current_hour = 0 
res = pd.DataFrame(columns=df.columns) 
for i in range(0,len(df.index)): 
    hour = dates.dt.hour[i] 
    if current_hour != hour: 
     current_hour = hour 
     counter = 0 
    if counter <= 500: 
     res.loc[i] = df.loc[i] 
     counter += 1 

UPDATE：

サンプルデータフレームdf：

id datetime_event  title 
11 2017-05-01T00:00:08 AAA 
12 2017-05-01T00:00:08 BBB 
13 2017-05-01T00:00:08 CCC 
14 2017-05-01T00:00:09 BBB 
15 2017-05-01T00:00:09 DDD 
16 2017-05-01T01:01:00 EEE 
17 2017-05-01T01:01:01 EEE 
18 2017-05-01T01:01:09 DDD 
19 2017-05-01T01:01:09 EEE 
20 2017-05-01T01:01:11 EEE 

Iは、例えば、各時間の最初のN個のエントリ（最初の3つのエントリを含むであろうサブセットresを取得したいと思い下記の例のように）：

id datetime_event  title 
11 2017-05-01T00:00:08 AAA 
12 2017-05-01T00:00:08 BBB 
13 2017-05-01T00:00:08 CCC 
16 2017-05-01T01:01:00 EEE 
17 2017-05-01T01:01:01 EEE 
18 2017-05-01T01:01:09 DDD 

Answer 1

用途：

df = df[df.groupby(pd.to_datetime(df['datetime_event']).dt.floor('H')).cumcount() < 3] 

print (df) 
    id  datetime_event title 
0 11 2017-05-01T00:00:08 AAA 
1 12 2017-05-01T00:00:08 BBB 
2 13 2017-05-01T00:00:08 CCC 
5 16 2017-05-01T01:01:00 EEE 
6 17 2017-05-01T01:01:01 EEE 
7 18 2017-05-01T01:01:09 DDD 

タイミング

df = pd.DataFrame({'datetime_event':pd.date_range('2000-01-01', freq='2T', periods=10**5)}) 

df['val'] = np.arange(len(df)) 


In [29]: %timeit df.groupby(pd.to_datetime(df['datetime_event']).dt.floor('H')).head(3) 
100 loops, best of 3: 15.8 ms per loop 

In [30]: %timeit df[df.groupby(pd.to_datetime(df['datetime_event']).dt.floor('H')).cumcount() < 3] 
100 loops, best of 3: 15.8 ms per loop 

---

df = pd.DataFrame({'datetime_event':pd.date_range('2000-01-01', freq='2S', periods=10**5)}) 

df['val'] = np.arange(len(df)) 

In [33]: %timeit df.groupby(pd.to_datetime(df['datetime_event']).dt.floor('H')).head(3) 
100 loops, best of 3: 14.1 ms per loop 

In [34]: %timeit df[df.groupby(pd.to_datetime(df['datetime_event']).dt.floor('H')).cumcount() < 3] 
100 loops, best of 3: 14.5 ms per loop 

Answer 2

UPDATE：

In [22]: df.groupby(pd.to_datetime(df['datetime_event']).dt.floor('H')).head(3) 
Out[22]: 
    id  datetime_event title 
0 11 2017-05-01T00:00:08 AAA 
1 12 2017-05-01T00:00:08 BBB 
2 13 2017-05-01T00:00:08 CCC 
5 16 2017-05-01T01:01:00 EEE 
6 17 2017-05-01T01:01:01 EEE 
7 18 2017-05-01T01:01:09 DDD