天気「イベント」はパンダの時差に基づいてグループ化されています

Question

私は、駅識別コード（ 'usaf'）と日付で整理された天気観測（fzraHrObs）のデータフレームを持っています。 fzraHrObsにはいくつかの気象データ列があります。局コードと日付（DateTimeオブジェクト）のように見える：

usaf  dat 
716270 2014-11-23 12:00:00 
      2015-12-20 08:00:00 
      2015-12-20 12:00:00 
716280 2015-12-19 08:00:00 
      2015-12-19 09:00:00 

私は観察が同じイベントで、以前の観測カウント後< 6時間を発生する局による「イベント」にこれらの観察グループにしたいです。次に、イベントの開始時間、終了時間、およびイベント数をデータフレームに出力します。上記の例のデータを考えると、私は、出力は次のようになりたいのですが：

usaf  eventNum start    end      count 
716270 1   2014-11-23 12:00:00 2014-11-23 12:00:00  1 
      2   2015-12-20 09:00:00 2015-12-20 12:00:00  2  
716280 1   2015-12-19 08:00:00 2015-12-19 09:00:00  2 

私は現在のために/ IFループとdictsでこれをやっているが、それはされていますので、パンダに物事を切り替えるに取り組んでいますはるかに効率的です。

私の最初の考えは、駅でグループ化された各行でdatのdiffを行い、それを数時間で得ることでした。したがって、私はこれを示す列 'diff'を持っています。私はイベントの開始/終了/継続時間を取得する方法を理解するのに苦労しています。私はfzraHrObs [fzraHrObs ['diff']> = 6]に関わるものも同様に関与するだろうと推測していますか？

Answer 1

あなたのコメントの答えは、以前のイベントだけを振り返る必要があるので、ループを避けることは簡単だということです。

df['new_event'] = df.groupby('usaf')['dat'].apply(lambda s: s.diff().dt.seconds > 6*3600) 

出力：

 usaf     dat new_event 
0 716270 2014-11-23 12:00:00  False 
1 716270 2015-12-20 08:00:00  True 
2 716270 2015-12-20 12:00:00  False 
3 716280 2015-12-19 08:00:00  False 
4 716280 2015-12-19 09:00:00  False 

はTrue値でイベントカウントを増やし：

df['event'] = df.groupby('usaf')['new_event'].cumsum().astype('int') 

出力：イベントによって

 usaf     dat new_event event 
0 716270 2014-11-23 12:00:00  False  0 
1 716270 2015-12-20 08:00:00  True  1 
2 716270 2015-12-20 12:00:00  False  1 
3 716280 2015-12-19 08:00:00  False  0 
4 716280 2015-12-19 09:00:00  False  0 

グループ、およびaggを使用するために

df.groupby(['usaf', 'event'])['dat'].agg(['first', 'last', 'count']) 

出力：：開始日と終了日を取得するためにfirstとlastを含む複数の機能を、適用

      first    last count 
usaf event            
716270 0  2014-11-23 12:00:00 2014-11-23 12:00:00  1 
     1  2015-12-20 08:00:00 2015-12-20 12:00:00  2 
716280 0  2015-12-19 08:00:00 2015-12-19 09:00:00  2 

を行うために残されているすべてのインデックスをクリーンアップです！