RのData.Tableの最適化？

Question

は、私は次のようになりRに2つのテーブルがあります。

DT.Purchase <- data.frame(ID = c(1,1,1,2,2,3,3,3,3,3,4,4,4,4), 
          CDS = c("0389","0389", "3298", "4545", "1282", "4545", 
            "0389","0389", "5685", "4545", "1282", "0389", 
            "1282", "1282") 
         Date = c("5/28/2016","5/26/2016","8/9/2016","2/2/2015", 
            "2/24/2015", "9/27/2015", "9/27/2015", "9/5/2015", 
            "3/3/2016", "4/9/2014", "5/1/2014", "5/4/2014", 
            "6/9/2014", "7/7/2014"), 
          JFK = c(T,F,F,F,T,T,F,F,T,F,T,T,T,F), 
          RFK = c(F,T,T,F,T,F,F,F,F,T,T,T,T,T), 
          RUG = c(T,F,T,F,T,F,F,F,F,T,F,F,T,T), 
          LPG = c(T,T,T,F,F,T,T,F,F,F,F,F,T,F)) 


DT.Purchase$Date <- as.Date(DT.Purchase$Date, format = "%m/%d/%Y") 
DT.Purchase  <- data.table(DT.Purchase) 
ID CDS  Date JFK RFK RUG LPG 
1 0389 5/28/2016 T F T T 
1 0389 5/26/2016 F T F T 
1 3298 8/9/2016 F T T T 
2 4545 2/2/2015 F F F F 
2 1282 2/24/2015 T T T F 
3 4545 9/27/2015 T F F T 
3 0389 9/27/2015 F F F T 
3 0389 9/5/2015 F F F F 
3 5685 3/3/2016 T F F F 
3 4545 4/9/2014 F T T F 
4 1282 5/1/2014 T T F F 
4 0389 5/4/2014 T T F F 
4 1282 6/9/2014 T T T T 
4 1282 7/7/2014 F T T F 

DT.Stay <- data.frame(Stay.ID = c(1,2,3,5,6,9,10,11), 
          ID = c(1,1,2,3,3,3,4,4), 
        Start.Date = c('5/26/2016','8/1/2016', '2/1/2015', '3/1/2016', 
            '9/1/2015', '4/9/2014', '4/7/2014','6/1/2014'), 
        End.Date = c('6/6/2016','9/1/2016','3/1/2015','3/7/2016', 
            '9/30/2015','4/14/2014','5/9/2014','7/11/2014')) 
DT.Stay$Start.Date <- as.Date(DT.Stay$Start.Date, format = "%m/%d/%Y") 
DT.Stay$End.Date <- as.Date(DT.Stay$End.Date, format = "%m/%d/%Y") 

DT.Stay <- data.table(DT.Stay) 

Stay.ID ID Start.Date End.Date 
1 1 5/26/2016 6/6/2016 
2 1 8/1/2016 9/1/2016 
3 2 2/1/2015 3/1/2015 
5 3 3/1/2016 3/7/2016 
6 3 9/1/2015 9/30/2015 
9 3 4/9/2014 4/14/2014 
10 4 4/7/2014 5/9/2014 
11 4 6/1/2014 7/11/2014 

が今現実には、 DT.Purchaseがはるかに大きい（千万観測）とDT.Stayは50000回の観測の上にあります。 DT.Purchase[ ,.(JFK, RFK, DUG, LPG)]の重みは c.weights = c(1,2,1,3)になります。これらのウェイトは、当社が検討している社内ウェイトウェイトを表します。これの目的は、以前の購入と重量に基づいて購入取引を決定することです。私がしたいのは、前のすべての前回の購入の合計であり、前に各 Stay.IDの各 End.Dateの合計である前の cost.indexを決定することです。だから、最終的 data.tableが

Stay.ID cost.index 
1  10 
2  16 
3  4 
5  11 
6  10 
9  3 
10  6 
11  10 

ように私が行っている方法を見てする必要があり、この関係ID（allow.cartesian = TRUE）2つのデータセットに基づいてマージしDate <= End.Dateかどうかをチェックします。次に、それぞれをStay.IDに代入して、sumに代入します。それは動作しますが、私はこれを行うためのより速い方法を探しています。 1000万回と50000回の観測で、マージは時間とリソースの消費になります。

Answer 1

最新のdevel版（1.9.7+）では、このようななめらかに動作します：あなたの日付と仮定すると

DT.Purchase[DT.Stay, on = .(ID = ID, Date >= Start.Date, Date <= End.Date), 
      .(Stay.ID, sum(as.matrix(.SD) %*% c.weights)), 
      by = .EACHI, .SDcols = JFK:LPG] 

はどちらかDateまたはIDate形式です。

1.9.6であなたの代わりにfoverlapsを使用することができます。

foverlaps(setkey(DT.Purchase[, Date2 := Date], ID, Date, Date2), 
      setkey(DT.Stay, ID, Start.Date, End.Date))[, 
    sum(as.matrix(.SD) %*% c.weights), keyby = Stay.ID, .SDcols = JFK:LPG]